ماهو تلخيص النص الآلي (text-summarization): الأنواع والتقنيات والتطبيقات

يُعد تلخيص النصوص التلقائي، المعروف أيضًا بتلخيص المستندات، أحد فروع معالجة اللغة الطبيعية (NLP) الذي يهدف إلى تكثيف المعلومات من نص واحد أو أكثر لإنشاء نسخة موجزة وأصلية. تختلف نسبة النص الأصلي التي تظهر في الملخص، حيث تشير بعض التعريفات إلى 10% فقط، بينما تشير أخرى إلى 50%. تعتمد خوارزميات تلخيص النصوص الحديثة بشكل كبير على هياكل التعلم العميق، وخاصة المحوِّلات (Transformers)، لتحليل المستندات وتوليد الملخصات.

أنواع التلخيص الآلي للنصوص

هناك نوعان رئيسيان من التلخيص الآلي:

1. التلخيص الاستخراجي (Extractive Summarization): يستخرج هذا النوع الجمل كما هي من النص الأصلي دون تعديل. يتم تقييم أهمية كل جملة وتقليل التكرار الموضوعي لاختيار الجمل التي ستشكل الملخص. تعتمد الاختلافات بين الخوارزميات الاستخراجية على كيفية تقييم الجمل.

2. التلخيص التجريدي (Abstractive Summarization): يقوم هذا النوع بإنشاء ملخصات جديدة باستخدام جمل قد لا تكون موجودة حرفيًا في النص الأصلي. يتطلب هذا النوع شبكات عصبية ونماذج لغوية كبيرة (LLMs) لإنتاج تسلسلات نصية ذات معنى دلالي. يُعتبر التلخيص التجريدي أكثر تعقيدًا وتكلفة من الناحية الحسابية ويتطلب خبرة أعمق في الذكاء الاصطناعي.

مقارنة بين النوعين

أظهرت المقارنات بين التلخيص الاستخراجي والتجريدي نتائج متباينة. تشير بعض الأبحاث إلى أن التلخيص التجريدي قد يكون أكثر عرضة لإنتاج معلومات غير دقيقة أو خاطئة (hallucinations). ومع ذلك، تقترح أبحاث أخرى أن هذه الأخطاء قد تتماشى مع المعرفة العامة المستمدة من المصدر نفسه. يرى المستخدمون أن الملخصات التجريدية أكثر ترابطًا وتماسكًا، بينما يجدون الملخصات الاستخراجية أكثر ثراءً بالمعلومات وملاءمة. كما يؤثر مدى الجدل حول موضوع النص في كيفية تقييم المستخدمين لكل نوع. لذا، لا توجد مقارنة تقييمية مطلقة بينهما.

كيف يعمل التلخيص الاستخراجي

تتبع عملية التلخيص الاستخراجي خطوات محددة بعد المعالجة المسبقة للبيانات النصية (مثل التجزئة إلى رموز، إزالة الكلمات الشائعة، التجذيع أو التجريد):

1. التمثيل (Representation): يتم تقسيم البيانات النصية وتمثيلها للمقارنة. تُستخدم نماذج مثل "حقيبة الكلمات" (Bag-of-Words) أو مقياس "تكرار المصطلح-تكرار المستند العكسي" (TF-IDF) لتمثيل الكلمات أو الجمل كنقاط في فضاء المتجهات. طرق أخرى مثل "التحليل الدلالي الكامن" (LSA) أو الخوارزميات القائمة على الرسوم البيانية (مثل LexRank و TextRank) تمثل الجمل كعُقد متصلة بناءً على التشابه الدلالي.
2. تقييم الجمل (Sentence Scoring): تُقيّم كل جملة بناءً على أهميتها. تعتمد طريقة التقييم على طريقة التمثيل المستخدمة. فمثلًا، تقيّم أساليب تمثيل الموضوعات الجمل بناءً على مدى تعبيرها عن الموضوع الرئيسي. الأساليب القائمة على الرسوم البيانية تقيّم مركزية الجملة (مدى قربها من مركز ثقل المستند).
3. اختيار الجمل (Sentence Selection): تختار الخوارزمية أهم 'n' جمل بناءً على درجاتها، مع مراعاة تقليل التكرار. تُستخدم أساليب مثل "الأهمية الهامشية القصوى" (Maximal Marginal Relevance - MMR) التي تعيد حساب أهمية الجملة بناءً على تشابهها مع الجمل المختارة سابقًا، أو طرق الاختيار العمومية التي تختار مجموعة فرعية تزيد الأهمية الإجمالية وتقلل التكرار.

يمكن اعتبار التلخيص الاستخراجي شكلاً من أشكال استرجاع المعلومات، حيث يتم ترتيب الجمل لإنتاج ملخص يطابق الموضوعات المركزية للنص.

كيف يعمل التلخيص التجريدي

تستخدم تقنيات التلخيص التجريدي الشبكات العصبية لإنشاء نص أصلي. تهدف هذه الأساليب لمحاكاة التلخيص البشري من خلال:

1. ضغط الجمل (Sentence Compression): اختصار الجمل الطويلة إلى جمل أقصر. يمكن أن يتم ذلك بطرق قائمة على القواعد النحوية (تحليل أجزاء الكلام ودمجها وفق نموذج محدد) أو طرق إحصائية (حيث يتعلم النموذج الأجزاء التي يجب إزالتها، مثل استخدام أشجار التبعية لتجميع الجمل المتشابهة واختيار الكلمات الشائعة).
2. دمج المعلومات (Information Fusion): ربط المعلومات من عبارات متعددة في جملة واحدة. يمكن تحقيق ذلك عن طريق تحديد العبارات الشائعة في مجموعة مستندات ودمجها (مثل استخدام الحوسبة الشبكية) أو استخدام نماذج موضوعات عصبية لتحديد الكلمات الرئيسية التي توجه عملية إنشاء الملخص.
3. ترتيب المعلومات (Information Ordering): تنظيم المعلومات بشكل موضوعي، وليس بالضرورة بنفس ترتيب النص الأصلي. يمكن استخدام تقنيات التجميع (Clustering) لتنظيم الجمل المستخرجة حسب المحتوى الموضوعي، أو نماذج الموضوعات العصبية لترتيب المعلومات.

مقاييس التقييم

يستخدم المطورون مقاييس مختلفة لتقييم جودة الملخصات، يعتمد اختيارها على نوع الملخص والميزة المراد قياسها:

• BLEU (Bilingual Evaluation Understudy): يُستخدم أصلًا في الترجمة الآلية، ويقيس التشابه بين مخرجات النموذج والنموذج الصحيح (الملخص البشري) باستخدام سلاسل الكلمات (n-grams). يركز على دقة الملخص الآلي ويأخذ في الاعتبار التكرار الخاطئ للكلمات. تتراوح القيمة بين 0 و 1 (1 يعني تطابقًا تامًا).
• ROUGE (Recall-Oriented Understudy for Gisting Evaluation): مُشتق من BLEU ومخصص للتلخيص. يقيس مدى استرجاع الملخص الآلي للمعلومات الموجودة في الملخص البشري، باستخدام تطابق سلاسل الكلمات (n-grams). يركز على مدى اكتمال الملخص الآلي. تتراوح القيمة أيضًا بين 0 و 1.

حالات الاستخدام

لتلخيص النصوص تطبيقات واسعة، مدعومة بمكتبات مثل HuggingFace Transformers (التي تتضمن نماذج مثل BART) وواجهات برمجة التطبيقات مثل OneAI Language Skills API.

• البحث السريع: يُعد التطبيق الأكثر شيوعًا، ويفيد في مجالات مثل القانون والأوساط الأكاديمية والتسويق لتوفير الوقت في قراءة النصوص الطويلة.
• الأخبار: تُستخدم المقالات الإخبارية كمجموعات بيانات شائعة لاختبار تقنيات التلخيص. كما يمكن استخدام الملخصات كمدخلات لنماذج اكتشاف الأخبار الزائفة.
• الترجمة: التلخيص متعدد اللغات يجمع بين التلخيص والترجمة الآلية، مما يطرح تحديات جديدة، مثل تلخيص النصوص التاريخية بلغات قديمة إلى لغات حديثة.

المصدر: https://www.ibm.com/sa-ar/think/topics/text-summarization المؤلفون: Jacob Murel Ph.D., Eda Kavlakoglu