دمج AI SDK لاستخدام الحاسوب

يمثل إصدار استخدام الحاسوب في Claude 3.5 Sonnet تقدماً كبيراً في قدرات الذكاء الاصطناعي، مما يسمح للنماذج بالتفاعل مع واجهات الحاسوب بطريقة تشبه الإنسان. تتيح هذه الميزة، جزء من AI SDK، أتمتة المهام المعقدة من خلال الاستفادة من قدرات التفكير المتقدمة لـ Claude. في هذا الدليل، سنستكشف كيفية دمج استخدام الحاسوب في تطبيقات AI SDK الخاصة بك، مع التركيز على التنفيذ العملي وأفضل الممارسات.

فهم استخدام الحاسوب

يسمح استخدام الحاسوب لنماذج الذكاء الاصطناعي بتنفيذ إجراءات مثل تحريك المؤشرات، والنقر على الأزرار، وكتابة النص، والتقاط لقطات شاشة، وقراءة محتوى الشاشة. يتم تحقيق هذه الوظيفة من خلال سلسلة من الخطوات المنسقة:

1. البدء بمطالبة وأدوات: ابدأ بإضافة أدوات استخدام الحاسوب المحددة من Anthropic إلى طلبك وتوفير مهمة للنموذج.
2. اختيار الأداة: يقيّم النموذج الأدوات التي يمكنها إنجاز المهمة ويرسل استدعاء أداة منسقاً لاستخدام الأداة المناسبة.
3. تنفيذ الإجراء: يعالج AI SDK الطلب بتشغيل الأداة المحددة، ويتم إرسال النتائج مرة أخرى إلى النموذج.
4. إكمال المهمة التكراري: يحلل النموذج النتائج لتحديد ما إذا كانت هناك حاجة لمزيد من الإجراءات، ويستمر حتى اكتمال المهمة أو يُطلب إدخال إضافي.

الأدوات المتاحة

توفر واجهة برمجة تطبيقات استخدام الحاسوب ثلاث أدوات رئيسية:

• أداة الحاسوب: للتحكم الأساسي في الحاسوب مثل حركة الماوس وإدخال لوحة المفاتيح.
• أداة محرر النص: لعرض وتحرير ملفات النص.
• أداة Bash: لتنفيذ أوامر bash.

اعتبارات التنفيذ

يتطلب تنفيذ استخدام الحاسوب إعداد بيئة محكومة والتعامل مع الوظائف الأساسية مثل التحكم في الماوس وإدخال لوحة المفاتيح. توفر Anthropic تنفيذاً مرجعياً مع بيئة محتواة وتنفيذات Python جاهزة للاستخدام لأدوات استخدام الحاسوب.

البدء مع AI SDK

للبدء، تأكد من تثبيت AI SDK ومزود Anthropic AI SDK:

pnpm add ai @ai-sdk/anthropic

يمكنك إضافة استخدام الحاسوب إلى تطبيقاتك باستخدام الأدوات المحددة من المزود. عرّف دالة تنفيذ للتعامل مع إجراءات مثل التقاط لقطات الشاشة وتنفيذ إجراءات الحاسوب.

import { anthropic } from '@ai-sdk/anthropic';
import { getScreenshot, executeComputerAction } from '@/utils/computer-use';
 
const computerTool = anthropic.tools.computer_20241022({
  displayWidthPx: 1920,
  displayHeightPx: 1080,
  execute: async ({ action, coordinate, text }) => {
    switch (action) {
      case 'screenshot': {
        return {
          type: 'image',
          data: getScreenshot(),
        };
      }
      default: {
        return executeComputerAction(action, coordinate, text);
      }
    }
  },
  experimental_toToolResultContent(result) {
    return typeof result === 'string'
      ? [{ type: 'text', text: result }]
      : [{ type: 'image', data: result.data, mimeType: 'image/png' }];
  },
});

استخدام أدوات الحاسوب مع توليد النص

بمجرد تعريف أداتك، استخدمها مع دوال generateText و streamText لتوليد النص والتحديثات في الوقت الفعلي.

const result = await generateText({
  model: anthropic('claude-3-5-sonnet-20241022'),
  prompt: 'حرك المؤشر إلى مركز الشاشة والتقط لقطة شاشة',
  tools: { computer: computerTool },
});
console.log(response.text);

أفضل الممارسات وإجراءات الأمان

لضمان استخدام فعال وآمن لاستخدام الحاسوب:

• حدد مهاماً بسيطة ومحددة جيداً.
• استخدم اختصارات لوحة المفاتيح لعناصر واجهة المستخدم الصعبة.
• نفذ إجراءات السلامة مثل استخدام الأجهزة الافتراضية والحد من الوصول إلى البيانات الحساسة.

الخلاصة

يفتح دمج استخدام الحاسوب في تطبيقات AI SDK إمكانيات جديدة للأتمتة والتفاعل. باتباع أفضل الممارسات وتنفيذ إجراءات أمان قوية، يمكن للمطورين تسخير الإمكانات الكاملة لهذه الميزة.

المرجع: AI SDK بواسطة Vercel بواسطة Vercel.