دمج ALLaM-7B-Instruct-preview مع Ollama

يوفر Ollama طريقة مريحة لتشغيل نماذج اللغة الكبيرة محلياً. بينما العديد من النماذج متاحة مباشرة عبر ollama pull، يمكنك أيضاً استيراد نماذج مخصصة، مثل ALLaM-AI/ALLaM-7B-Instruct-preview، من خلال إنشاء Modelfile.

فهم تنسيقات النماذج: Safetensors مقابل GGUF

قبل الغوص في عملية الاستيراد، من المفيد فهم تنسيقات النماذج المختلفة المعنية:

Safetensors / تنسيق PyTorch

• ما هو: هذه التنسيقات (.safetensors، .bin، .pth) قياسية لتوزيع النماذج المستخدمة في التدريب وداخل أطر العمل مثل Hugging Face Transformers. عادةً ما تخزن أوزان النموذج عالية الدقة (مثل 16 بت أو 32 بت عائم).
• حالة الاستخدام: بشكل أساسي لتدريب النموذج والتدريب الدقيق وتشغيل الاستدلال باستخدام مكتبات Python (transformers، torch) غالباً ما تتطلب أجهزة قوية (خاصة GPUs).

GGUF (تنسيق موحد مولد بـ GPT)

• ما هو: تنسيق ثنائي مصمم خصيصاً بواسطة مشروع llama.cpp للاستدلال الفعال على مجموعة أوسع من الأجهزة، بما في ذلك وحدات المعالجة المركزية وأجهزة Apple Silicon (Metal).
• الميزة الرئيسية - التكميم: عادةً ما تحتوي ملفات GGUF على أوزان مكممة. يقلل التكميم من الدقة (مثل إلى أعداد صحيحة 4 بت أو 5 بت)، مما يقلص حجم الملف واستخدام الذاكرة بشكل كبير.
• مستقل ذاتياً: يجمع أوزان النموذج وتفاصيل البنية ومعلومات المُرمِّز في ملف واحد.

لماذا يفضل Ollama تنسيق GGUF

يستفيد Ollama من مكتبة llama.cpp داخلياً. GGUF هو التنسيق الأصلي لـ llama.cpp، مما يوفر العديد من المزايا:

1. الكفاءة: تعمل نماذج GGUF المكممة بشكل أسرع وتستخدم ذاكرة أقل.
2. إمكانية الوصول: تمكن من تشغيل النماذج الكبيرة على أجهزة الكمبيوتر المحمولة العادية.
3. البساطة: يتفاعل المستخدمون مع تنسيق ملف واحد يديره Ollama بسلاسة.

استيراد علام إلى Ollama (يتطلب GGUF)

1. الحصول على ملف نموذج GGUF

• Ollama مثبت: تأكد من تشغيل Ollama على نظامك. قم بزيارة ollama.com لتعليمات التثبيت.
• ملف GGUF: نظراً لأن Ollama يعمل بشكل أفضل مع GGUF، تحتاج إلى نموذج ALLaM بهذا التنسيق.
  • الخيار أ (موصى به): ابحث في مجتمع Hugging Face عن إصدار GGUF محول مسبقاً من ALLaM-7B-Instruct-preview.
  • الخيار ب (متقدم): حمّل أوزان Safetensors الأصلية وحولها إلى GGUF بنفسك باستخدام نصوص تحويل llama.cpp.

2. إنشاء Modelfile

أنشئ ملفاً باسم Modelfile (بدون امتداد) في دليل من اختيارك:

# Modelfile لـ ALLaM-7B-Instruct-preview
FROM /path/to/your/allam-7b-instruct.gguf
 
# إعداد طلب النظام (اختياري)
SYSTEM """أنت علام، مساعد ذكاء اصطناعي ثنائي اللغة بالإنجليزية والعربية."""
 
# تعيين معلمات التوليد (اختياري)
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER num_ctx 4096

3. إنشاء النموذج في Ollama

افتح الطرفية وشغل:

ollama create allam -f /path/to/your/Modelfile

4. اختبار النموذج

ollama run allam "كيف أجهز كوب شاهي؟"

نشر النموذج (اختياري)

إذا كنت تريد مشاركة النموذج المخصص، يمكنك نشره إلى Ollama Hub:

ollama push your-username/allam

الخاتمة

لقد تعلمت كيفية دمج نموذج ALLaM مع Ollama للتشغيل المحلي. يتيح لك هذا الاستفادة من قوة نماذج اللغة الكبيرة على جهازك الخاص دون الحاجة إلى اتصال بالإنترنت أو خدمات سحابية.

المرجع: توثيق Ollama