Moonshot AI تقدّم تقنية Attention Residuals لإعادة تصميم بنية المحوّلات
كشفت شركة Moonshot AI الصينية، المطوّرة لروبوت المحادثة Kimi وعائلة نماذج اللغة الكبيرة، عن تقنية معمارية جديدة تحمل اسم Attention Residuals (AttnRes) تُعيد التفكير في أحد أهم المكوّنات الأساسية لبنية المحوّلات (Transformer) — الروابط المتبقية (Residual Connections). البحث المنشور في 15 مارس 2026 لقي اهتمامًا واسعًا في مجتمع الذكاء الاصطناعي، حيث وصفه إيلون ماسك بأنه "عمل مبهر".
ما هي تقنية Attention Residuals؟
منذ تقديم بنية المحوّلات عام 2017، ظلّت الروابط المتبقية هي الآلية المعتمدة لنقل المعلومات بين الطبقات. كل طبقة تضيف مخرجاتها ببساطة إلى المجموع التراكمي من جميع الطبقات السابقة — تراكم ثابت وموحّد يُعامل كل طبقة سابقة بالتساوي.
المشكلة، كما يوضّح باحثو Moonshot AI، أن هذا النهج يتسبب في نمو حجم الحالة المخفية مع زيادة العمق، مما يُضعف تدريجيًا مساهمة الطبقات المبكرة. الإشارات المهمة من الطبقة الثانية أو العشرين تنطمر تحت عشرات الإضافات اللاحقة — وهي ظاهرة أطلقوا عليها اسم تخفيف PreNorm.
تستبدل تقنية Attention Residuals هذا التراكم الثابت بآلية انتباه خفيفة عبر العمق. بدلاً من إضافة جميع المخرجات السابقة بشكل أعمى، تستخدم كل طبقة انتباه softmax لاسترجاع المعلومات بشكل انتقائي من الطبقات الأكثر أهمية.
أبرز النقاط
- بديل مباشر للروابط المتبقية التقليدية — دون الحاجة لتغيير بقية البنية
- تقنية Block AttnRes تقسّم الطبقات إلى كتل مضغوطة، مما يقلّل تعقيد الذاكرة من O(Ld) إلى O(Nd)
- زيادة في المعاملات بنسبة 2% فقط — تأثير ضئيل على حجم النموذج
- مدمجة في نموذج Kimi Linear، بنية خليط الخبراء من Moonshot AI بإجمالي 48 مليار معامل و3 مليارات معامل مُفعّل
نتائج المعايير المرجعية
بعد التدريب المسبق على 1.4 تريليون رمز، أظهر نموذج Kimi Linear المُعزّز بتقنية AttnRes تحسينات متسقة عبر المعايير الرئيسية:
| المعيار | قبل | بعد | التحسّن |
|---|---|---|---|
| MMLU | 73.5 | 74.6 | +1.1 |
| GPQA-Diamond | 36.9 | 44.4 | +7.5 |
| BBH | 76.3 | 78.0 | +1.7 |
| Math | 53.5 | 57.1 | +3.6 |
| HumanEval | 59.1 | 62.2 | +3.1 |
| MBPP | 72.0 | 73.9 | +1.9 |
التحسّن الأبرز جاء في معيار GPQA-Diamond للاستدلال العلمي على مستوى الدراسات العليا، حيث قفزت الدرجات بمقدار 7.5 نقطة. كما شهدت معايير البرمجة والرياضيات تحسينات ملموسة.
لماذا هذا مهم؟
ظلّت الروابط المتبقية دون تغيير جوهري منذ تقديمها في شبكة ResNet عام 2015، ثم تبنّتها ورقة المحوّلات الأصلية. تُعدّ هذه من أولى المحاولات الناجحة لإعادة التفكير جذريًا في كيفية تدفق المعلومات بين الطبقات في الشبكات العميقة.
الأهمية الخاصة لهذا النهج تكمن في تحقيق هذه المكاسب دون التوسّع بالقوة الغاشمة. بينما يتّجه القطاع نحو تدريب نماذج أكبر على بيانات أكثر، تُثبت Attention Residuals أن الابتكارات المعمارية لا تزال قادرة على تحقيق تحسينات ذات معنى بتكلفة شبه معدومة.
مفتوح المصدر وردود فعل القطاع
أصدرت Moonshot AI الكود المصدري على GitHub، مما يُتيح لمجتمع البحث الأوسع البناء على تقنية AttnRes. طبيعتها كبديل مباشر تعني إمكانية اعتمادها في أي نموذج قائم على بنية المحوّلات.
أثار البحث نقاشات واسعة على وسائل التواصل الاجتماعي، حيث أشاد الباحثون والمهندسون بأناقة معاملة العمق كبُعد تسلسلي — مستلهمين التشابه بين كيفية عمل الانتباه عبر الرموز في التسلسل وكيفية عمل AttnRes عبر الطبقات في الشبكة.
ما التالي؟
مع توفر الكود مفتوح المصدر، يبقى السؤال هل ستتبنى المختبرات الكبرى تقنية AttnRes في نماذجها من الجيل القادم. التكلفة الإضافية الضئيلة والمكاسب المتسقة تجعلها إضافة جذابة، خاصةً للنماذج التي تتّجه نحو بنيات أعمق حيث يصبح تخفيف PreNorm أكثر وضوحًا.
ناقش مشروعك معنا
نحن هنا للمساعدة في احتياجات تطوير الويب الخاصة بك. حدد موعدًا لمناقشة مشروعك وكيف يمكننا مساعدتك.
دعنا نجد أفضل الحلول لاحتياجاتك.