ContextGem: Python ile belgelerden veri çıkarma

ContextGem, Shcherbak AI AS tarafından geliştirilen ücretsiz ve açık kaynaklı bir Python çerçevesidir. LLM ve karar modelleriyle belgelerden yapılandırılmış bilgi çıkarır. İstediğiniz bilgiyi tarif edersiniz; çerçeve istemleri, veri modellerini ve çıktı biçiminin doğrulanmasını yönetir.

ContextGem ne işe yarar? Basit bir açıklama

Sözleşmelerde ödeme süresini, fesih koşullarını ve aylık ücretleri bulup bir sisteme aktarmak istediğinizi düşünün. Geliştirici alanları ve veri türlerini tanımlar; ContextGem belgeleri aynı kurallarla işler. Sonuç yalnızca bir özet değil, uygulamanın kullanabileceği tarih, sayı, etiket veya JSON nesnesi olabilir.

Araç, Python ile belge işleme uygulaması geliştiren ekipler içindir. Model yapılandırması, kod ve sonuç denetimi gerekir. Proje sitesi, herkesin dosya yükleyip hemen sohbet ettiği genel bir barındırılan hizmet olarak değerlendirilmemelidir.

İlk veri çıkarma akışını kurma

1. pip install -U contextgem ile kurun. Dosya dönüşümü gerekiyorsa pip install -U "contextgem[docling]" kullanın.
2. Metin için Document(raw_text=...) oluşturun. Dosyayı Docling ile DocumentConverter().convert(file) üzerinden dönüştürün, ardından Document.from_docling(result.document) çağırın.
3. Aspects ve Concepts tanımlarını açık açıklamalar, uygun türler ve gerekli kaynak bağlantılarıyla hazırlayın.
4. DocumentLLM için desteklenen modeli, kimlik bilgilerini veya yerel uç noktayı ayarlayın.
5. doc = llm.extract_all(doc) çalıştırın ve dönen belgede get_concept_by_name(...).extracted_items değerlerini okuyun.
6. Bilinen yanıtları olan bir örnekte değerleri ve kaynakları karşılaştırın. Eksik alanları ve farklı düzenleri toplu kullanımdan önce deneyin.

Resmî başlangıç kılavuzu tam örnekler sunar. Docling entegrasyonu PDF, DOCX, PPTX, XLSX ve HTML gibi girdileri, belge yapısını ve mevcut sayfa referanslarını açıklar. Dönüşüm kalitesi çıkarılan bilgiyi etkiler.

Konu bölümleri, alanlar ve kaynak denetimi

Aspect, ödeme koşulları gibi bir konuyla ilgili özgün bölümleri seçer. Concept, ödeme günü sayısı veya ücret nesnesi gibi bir değer ya da değerlendirme çıkarır. Tüm belgeye veya bir Aspect'e uygulanabilir; alt konular da tanımlanabilir.

Metin, sayı, tarih, boolean, etiket, puan ve JSON nesnesi desteklenir. LLM çıkarımında paragraf veya cümle referansları ve gerektiğinde gerekçeler istenebilir. Bunlar kaynağa dönmeyi kolaylaştırır; doğru biçim ve bir referans, yorumun doğru olduğunu garanti etmez. Önemli tutarları ve kararları özgün belgeyle denetleyin.

Ücret, lisans ve belgelerin gizliliği

29 Ekim 2026 tarihinde kontrol edilen duruma göre çerçeve Apache 2.0 lisansıyla ücretsizdir. Ticari kullanım lisans koşullarına bağlıdır. Bulut API'leri, yerel donanım ve işletim ayrı maliyetler oluşturabilir; tüm modeller için ortak ücretsiz kota veya tek belge fiyatı yoktur.

Resmî güvenlik politikası, ContextGem'in telemetri toplamadığını belirtir. Belgeler ve oluşturulan istemler, ortamınızda çalışan LiteLLM aracılığıyla yapılandırdığınız modellere gönderilir. Bulut sağlayıcısının saklama koşullarını inceleyin. Yerel uç noktaları ve bulut yedeklerini kontrol edin; bağımlılıklar, cümle bölümleme modelleri ve fiyat verileri için herkese açık indirmeler yine gerekebilir.

Yerel LLM ve karar modeli seçimi

LiteLLM üzerinden belgelenmiş bulut sağlayıcıları ile Ollama ve LM Studio gibi yerel arka uçlar kullanılabilir. LLM, açık yanıtlar, farklı veri türleri ve desteklenen görseller için uygundur. Küçük modellerin karmaşık yönergeleri izleyip izlemediğini kendi belgelerinizde ölçün.

Karar modelleri boolean, etiket veya puan düzeyi gibi kapalı soruları ve metin Aspect seçimini işler. Olasılıkları döndürür ve karar eşikleri sunar; serbest metin üretmez. Görsel veya isteğe bağlı JSON çıkarımında LLM ile aynı kapsamda değildir. Model grupları görevleri rollere göre dağıtabilir ve yedek modeller kullanabilir.

Tekrar kullanılabilir akışlar ve arama sınırı

ExtractionPipeline konu ve alan tanımlarını tekrar kullanmayı sağlar. Belgeler, akışlar ve desteklenen model ayarları serileştirilebilir. to_dict() ve to_json() sonuç aktarımını kolaylaştırır; veritabanına yazma veya elektronik tablo oluşturma uygulamanıza aittir.

Agent iş akışı örnekleri içe aktarmada metadata çıkarma, çağrılabilir araçlar ve karar noktalarını gösterir. Çıktı dili metin yanıtlarını ve gerekçeleri belirleyebilir; kaynaklar özgün dilde kalır.

ContextGem tek belgeleri derinlemesine okur ve paragrafları gruplar halinde işleyebilir. Kendi başına belge koleksiyonu araması ya da belgeler arası sorgu yapmaz. Bu görevler için ek bir erişim sistemi gerekir.

Sık sorulan sorular

Her şey ücretsiz mi?

Çerçeve ücretsizdir; model API'si, donanım ve işletim ayrı olabilir. Lisans sınırsız ücretsiz çıkarım sağlamaz.

PDF ve Word dosyaları kullanılabilir mi?

Belgelenen yol Docling ve Document.from_docling(result.document) kullanır. Dönüşümü ve çıkarılan alanların kaynaklarını kontrol edin.

Özel belgelerde yerel model kullanabilir miyim?

Ollama ve LM Studio gibi desteklenen arka uçlar kullanılabilir. Model kalitesi, ağ bağlantıları ve bulut yedekleri değerlendirilmelidir.

Belge arşivi için RAG yerine geçer mi?

Tek belge analizine odaklanır. Koleksiyon araması ve belgeler arası erişim için başka bileşenler gerekir.

Resmî kaynaklar ve geliştirici topluluğu

• Kurulum gereksinimleri: Python 3.11–3.14, Intel Mac istisnaları ve Alpine/musl sınırları.
• Desteklenen modeller: yerel ve bulut seçenekleri.
• GitHub Discussions: uygulama soruları.
• Hata ve özellik talepleri: yeniden üretilebilir bildirimler.
• Sürüm 1 geçiş kılavuzu: eski entegrasyonlar için değişiklikler.