ContextGem: استخراج بيانات المستندات باستخدام Python

ContextGem إطار عمل مجاني ومفتوح المصدر بلغة Python من Shcherbak AI AS لاستخراج معلومات منظمة من المستندات. تصف البيانات المطلوبة وتختار نموذجًا لغويًا كبيرًا أو نموذج قرار، ويتولى الإطار إنشاء التعليمات ونماذج البيانات والتحقق من تنسيق الإجابة.

ما فائدة ContextGem؟ شرح مبسط

تخيّل أنك تريد تسجيل مهلة الدفع وشروط إنهاء العقد والرسوم الشهرية من مجموعة عقود. يحدد المطور الحقول وأنواعها، ثم يعالج ContextGem المستندات وفق القواعد نفسها. يمكن أن تكون النتيجة تاريخًا أو رقمًا أو تصنيفًا أو كائن JSON يستطيع برنامج آخر استخدامه.

هو أداة لبناء تطبيقات معالجة المستندات باستخدام Python. يحتاج إلى برمجة وإعداد نموذج ومراجعة النتائج. موقع المشروع يقدّم الشفرة والوثائق، وليس خدمة عامة جاهزة يكفي فيها رفع ملف وبدء محادثة.

استخراج فقرات الموضوع والحقول مع مراجعها

يختار Aspect المقاطع الأصلية المتعلقة بموضوع مثل شروط الدفع. أما Concept فيستخرج قيمة أو تقييمًا، مثل عدد أيام الدفع أو تفاصيل رسوم خدمة. يمكن تطبيقه على المستند كله أو داخل Aspect، مع إمكانية تقسيم الموضوعات إلى أجزاء فرعية.

تشمل الأنواع النصوص والأرقام والتواريخ والقيم المنطقية والتصنيفات والتقييمات وكائنات JSON. عند الاستخراج بواسطة LLM يمكن طلب مراجع للفقرات أو الجمل وإضافة تبريرات عند الحاجة.

تساعد المراجع على الرجوع إلى النص، لكنها لا تضمن صحة التفسير. يجب مقارنة المبالغ والتواريخ والقرارات المهمة بالمصدر وبقواعد العمل، حتى إذا اجتازت الإجابة التحقق من التنسيق.

خطوات تنفيذ أول عملية استخراج من PDF

1. ثبّت pip install -U contextgem. ولتحويل الملفات استخدم pip install -U "contextgem[docling]".
2. للنص أنشئ Document(raw_text=...). للملفات استخدم DocumentConverter().convert(file) من Docling ثم Document.from_docling(result.document).
3. عرّف Aspects وConcepts بأوصاف واضحة وأنواع مناسبة ومتطلبات للمراجع.
4. اضبط DocumentLLM بالنموذج المدعوم وبيانات الاعتماد أو نقطة الاتصال المحلية.
5. نفّذ doc = llm.extract_all(doc) واقرأ get_concept_by_name(...).extracted_items من المستند الناتج.
6. قارن القيم والمراجع بإجابات معروفة، ثم اختبر الحقول الغائبة والتنسيقات المختلفة قبل زيادة الحجم.

يحتوي دليل البدء الرسمي على أمثلة كاملة. تشرح وثائق تكامل Docling ملفات PDF وDOCX وPPTX وXLSX وHTML، مع الاحتفاظ بالبنية ومراجع الصفحات المتاحة. تؤثر جودة التحويل في جودة الاستخراج.

اختيار نموذج لغوي أو نموذج قرار

عبر LiteLLM يمكن الاتصال بمزودي السحابة الموثقين وخوادم محلية مثل Ollama وLM Studio. يناسب LLM الإجابات المفتوحة وأنواع الحقول المتعددة والصور المدعومة. اختبر النماذج الصغيرة على مستنداتك للتأكد من التزامها بالتعليمات المعقدة.

تعالج نماذج القرار الأسئلة المغلقة، مثل نعم أو لا، أو تصنيف محدد، أو درجة على مقياس، وتختار Aspects نصية. تُرجع احتمالات مع عتبات قرار قابلة للإعداد، ولا تولّد نصًا مفتوحًا. لا تعادل جميع قدرات LLM في الصور أو JSON غير المقيّد. تتيح مجموعات النماذج توزيع المهام حسب الأدوار واستخدام نماذج بديلة.

حدود المجانية والخصوصية

بحسب التحقق في 29 أكتوبر 2026، الإطار مجاني بموجب ترخيص Apache 2.0، ويخضع الاستخدام التجاري لشروطه. قد تُحسب رسوم مستقلة لواجهات النماذج السحابية والعتاد والتشغيل المحلي. لا توجد هنا تسعيرة موحدة لكل مستند أو حصة مجانية تشمل كل النماذج.

تذكر سياسة الأمان الرسمية أن ContextGem لا يجمع بيانات القياس عن الاستخدام. تُرسل المستندات والتعليمات الناتجة إلى النماذج التي تضبطها عبر LiteLLM العامل في بيئتك. راجع شروط الاحتفاظ بالبيانات لدى المزود السحابي، وافحص نقاط الاتصال والبدائل السحابية في الإعداد المحلي. قد تتطلب التبعيات ونماذج تقسيم الجمل وبيانات الأسعار تنزيلات عامة، لذا لا يعني الاستدلال المحلي انقطاع الشبكة تلقائيًا.

إعادة استخدام العمل ودمجه مع الوكلاء

يحفظ ExtractionPipeline تعريفات الموضوعات والحقول لإعادة استخدامها. يمكن تسلسل المستندات وخطوط المعالجة والإعدادات المدعومة، وتسهّل to_dict() وto_json() تمرير النتائج. يظل حفظ البيانات في قاعدة أو إنشاء جدول مسؤولية التطبيق.

تعرض أمثلة سير عمل الوكلاء استخراج البيانات الوصفية عند الإدخال، وأدوات يستدعيها الوكيل، وأسئلة مغلقة عند نقاط القرار. يمكن تحديد لغة الإجابات النصية والتبريرات، بينما تبقى المراجع بلغتها الأصلية.

يركز ContextGem على قراءة مستند منفرد بعمق، مع إمكانية معالجة مجموعات فقرات. لا يبحث بنفسه في مجموعة مستندات ولا ينفذ استعلامات عبر ملفات متعددة. يحتاج ذلك إلى نظام استرجاع إضافي؛ كما يؤثر النموذج وتقسيم النص في الجودة والوقت والتكلفة.

أسئلة شائعة

هل الاستخدام مجاني بالكامل؟

الإطار مجاني، لكن واجهات النماذج والعتاد والتشغيل قد تكون لها رسوم مستقلة. الترخيص لا يوفّر استدلالًا مجانيًا غير محدود.

هل يمكن معالجة PDF وWord؟

المسار الموثق يستخدم Docling ثم Document.from_docling(result.document). راجع التحويل ومراجع الحقول المستخرجة.

هل أستطيع استخدام نموذج محلي لمستندات خاصة؟

تشمل الخيارات المدعومة Ollama وLM Studio. يجب فحص الجودة واتصالات الشبكة وأي بدائل سحابية.

هل يحل محل RAG للبحث في الأرشيف؟

يركز على تحليل كل مستند. البحث في المجموعة والاسترجاع عبر مستندات متعددة يحتاجان إلى مكونات أخرى.

الموارد الرسمية ومجتمع المطورين

• متطلبات التثبيت: Python 3.11–3.14 واستثناءات Intel Mac وحدود Alpine/musl.
• النماذج المدعومة: خيارات السحابة والتشغيل المحلي.
• GitHub Discussions: أسئلة التنفيذ والاستخدام.
• المشكلات وطلبات الميزات: الإبلاغ عن الأخطاء والاقتراحات.
• دليل الانتقال إلى الإصدار 1: تغييرات التكاملات القديمة.