تقييم تطبيقات الذكاء الاصطناعي في الإنتاج باستخدام Braintrust وTypeScript

npm install braintrust autoevals openai zod

BRAINTRUST_API_KEY=your_braintrust_key
OPENAI_API_KEY=your_openai_key
BRAINTRUST_PROJECT_NAME=my-ai-app

{
  "compilerOptions": {
    "target": "ES2022",
    "module": "NodeNext",
    "moduleResolution": "NodeNext",
    "strict": true,
    "outDir": "dist"
  }
}

import { Eval } from "braintrust";
import OpenAI from "openai";
 
const openai = new OpenAI();
 
// المهمة: دالة الذكاء الاصطناعي الخاضعة للتقييم
async function summarize(input: { text: string }): Promise<string> {
  const response = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      {
        role: "system",
        content: "لخّص النص التالي في جملتين إلى ثلاث جمل موجزة.",
      },
      { role: "user", content: input.text },
    ],
  });
  return response.choices[0].message.content ?? "";
}
 
// المقيّم: يُكافئ التلخيصات الموجزة (أقل من 60 كلمة)
function concisenessScorer(args: { output: string }) {
  const wordCount = args.output.split(/\s+/).length;
  const score = wordCount <= 40 ? 1 : wordCount <= 70 ? 0.7 : 0.3;
  return { name: "conciseness", score };
}
 
// مجموعة البيانات: أمثلة حقيقية مع إجابات متوقعة
const dataset = [
  {
    input: {
      text: "قدّم Next.js 16 تحسينات كبيرة على App Router، تشمل Server Actions أسرع، نظام تخزين مؤقت معاد التصميم مع تحكم صريح للمطور، تحسّن البث للبيانات الكبيرة، وضع Partial Prerendering الجديد الذي يمزج العرض الثابت والديناميكي في نفس الصفحة.",
    },
    expected:
      "حسّن Next.js 16 App Router بـ Server Actions أسرع، وتخزين مؤقت معاد التصميم، وبث محسّن، ونمط Partial Prerendering جديد.",
  },
];
 
Eval("text-summarization", {
  data: dataset,
  task: summarize,
  scores: [concisenessScorer],
});

npx braintrust eval lib/eval/summarize.eval.ts

import { Factuality, Similarity } from "autoevals";
 
Eval("text-summarization-v2", {
  data: dataset,
  task: summarize,
  scores: [
    // يفحص الدقة الواقعية مقابل المخرج المتوقع
    Factuality,
    // يقيس التشابه الدلالي على مقياس 0-1
    Similarity,
    // فحص الإيجاز المخصص الخاص بك
    concisenessScorer,
  ],
});

import { LLMClassifierFromTemplate } from "autoevals";
 
const faithfulnessJudge = LLMClassifierFromTemplate({
  name: "faithfulness",
  promptTemplate: `أنت تُقيّم ما إذا كان الملخص المولّد بالذكاء الاصطناعي أميناً للنص المصدر.
 
النص المصدر:
{{input.text}}
 
الملخص:
{{output}}
 
قيّم الأمانة:
- "A" — دقيق تماماً، لا هلوسات
- "B" — دقيق في معظمه، حذوفات طفيفة
- "C" — غير دقيق أو مضلل
 
أجب بحرف واحد فقط.`,
  choiceScores: { A: 1, B: 0.6, C: 0 },
  useCoT: false,
});

import { wrapOpenAI, initLogger } from "braintrust";
import OpenAI from "openai";
 
// تهيئة مرة واحدة عند بدء التطبيق
initLogger({
  projectName: process.env.BRAINTRUST_PROJECT_NAME!,
  apiKey: process.env.BRAINTRUST_API_KEY,
  asyncFlush: true, // غير محجوب لبيئات serverless
});
 
// العميل المغلّف بديل مباشر للعميل القياسي
export const openai = wrapOpenAI(new OpenAI());

import { traced } from "braintrust";
 
export async function answerWithContext(question: string, docs: string[]) {
  return traced(
    async (span) => {
      span.log({ input: { question, docCount: docs.length } });
 
      const context = docs.join("\n\n");
 
      const answer = await openai.chat.completions.create({
        model: "gpt-4o",
        messages: [
          {
            role: "system",
            content: `أجب على السؤال باستخدام السياق المقدّم فقط.\n\nالسياق:\n${context}`,
          },
          { role: "user", content: question },
        ],
      });
 
      const output = answer.choices[0].message.content ?? "";
 
      span.log({
        output,
        metadata: { tokensUsed: answer.usage?.total_tokens },
      });
 
      return output;
    },
    { name: "rag-answer" }
  );
}

// app/api/chat/route.ts
import { NextResponse } from "next/server";
import { traced, initLogger } from "braintrust";
import { openai } from "@/lib/braintrust"; // عميلك المغلّف
 
initLogger({
  projectName: process.env.BRAINTRUST_PROJECT_NAME!,
  apiKey: process.env.BRAINTRUST_API_KEY,
  asyncFlush: true,
});
 
export async function POST(req: Request) {
  const { message, userId } = (await req.json()) as {
    message: string;
    userId: string;
  };
 
  const response = await traced(
    async (span) => {
      span.log({ input: { message }, metadata: { userId } });
 
      const completion = await openai.chat.completions.create({
        model: "gpt-4o",
        messages: [{ role: "user", content: message }],
      });
 
      const output = completion.choices[0].message.content ?? "";
      span.log({ output });
 
      return output;
    },
    { name: "chat" }
  );
 
  return NextResponse.json({ response });
}

name: بوابة تقييم الذكاء الاصطناعي
 
on:
  pull_request:
    paths:
      - "lib/ai/**"
      - "lib/eval/**"
      - "prompts/**"
      - "app/api/**"
 
jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: "20"
          cache: "npm"
      - run: npm ci
      - name: تشغيل تقييمات Braintrust
        env:
          BRAINTRUST_API_KEY: ${{ secrets.BRAINTRUST_API_KEY }}
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: |
          npx braintrust eval lib/eval/*.eval.ts --threshold 0.75

eval:
  stage: test
  image: node:20
  only:
    changes:
      - lib/ai/**
      - lib/eval/**
  script:
    - npm ci
    - npx braintrust eval lib/eval/*.eval.ts --threshold 0.75
  variables:
    BRAINTRUST_API_KEY: $BRAINTRUST_API_KEY
    OPENAI_API_KEY: $OPENAI_API_KEY

import { Eval } from "braintrust";
import { Factuality } from "autoevals";
 
const DATASET = [/* حالات الاختبار الخاصة بك */];
 
async function summarizeV1(input: { text: string }) {
  const res = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      { role: "system", content: "لخّص باختصار." },
      { role: "user", content: input.text },
    ],
  });
  return res.choices[0].message.content ?? "";
}
 
async function summarizeV2(input: { text: string }) {
  const res = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      {
        role: "system",
        content:
          "أنت كاتب تقني. لخّص النص أدناه في جملتين مع الحفاظ على جميع الحقائق الأساسية.",
      },
      { role: "user", content: input.text },
    ],
  });
  return res.choices[0].message.content ?? "";
}
 
Eval("summarization-v1", { data: DATASET, task: summarizeV1, scores: [Factuality] });
Eval("summarization-v2", { data: DATASET, task: summarizeV2, scores: [Factuality] });

npx braintrust eval lib/eval/summarize.eval.ts --set-baseline

npx braintrust eval lib/eval/*.eval.ts --concurrency 3