فتح مستقبل الذكاء الاصطناعي مع GPT-4o: مقدمة شاملة للقدرات متعددة الوسائط

%pip install --upgrade openai --quiet

from openai import OpenAI
import os
 
# تعيين مفتاح API واسم النموذج
MODEL="gpt-4o"
client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY", ""))

completion = client.chat.completions.create(
    model=MODEL,
    messages=[
        {
            "role": "system",
            "content": "أنت مساعد مفيد. ساعدني في واجب الرياضيات!"
        },
        {
            "role": "user",
            "content": "مرحباً! هل يمكنك حل 2+2؟"
        }
    ]
)
 
print("المساعد: " + completion.choices[0].message.content)

from IPython.display import Image, display, Audio, Markdown
import base64
 
IMAGE_PATH = "data/triangle.png"
# معاينة الصورة للسياق
display(Image(IMAGE_PATH))
 
# فتح ملف الصورة وتشفيرها كسلسلة base64
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")
 
base64_image = encode_image(IMAGE_PATH)
response = client.chat.completions.create(
    model=MODEL,
    messages=[
        {
            "role": "system",
            "content": "أنت مساعد مفيد يرد بـ Markdown. ساعدني في واجب الرياضيات!"
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "ما هي مساحة المثلث؟"},
                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{base64_image}"}}
            ]
        }
    ],
    temperature=0.0
)
 
print(response.choices[0].message.content)

response = client.chat.completions.create(
    model=MODEL,
    messages=[
        {
            "role": "system",
            "content": "أنت مساعد مفيد يرد بـ Markdown. ساعدني في واجب الرياضيات!"
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "ما هي مساحة المثلث؟"},
                {"type": "image_url", "image_url":
                {
                    "url":
                    "https://example.com/triangle.png"
                    }
                }
            ]
        }
    ],
    temperature=0.0
)
 
print(response.choices[0].message.content)

%pip install opencv-python --quiet
%pip install moviepy --quiet

import cv2
from moviepy.editor import VideoFileClip
import time
import base64
 
VIDEO_PATH = "data/keynote_recap.mp4"
 
def process_video(video_path, seconds_per_frame=2):
    base64Frames = []
    base_video_path, _ = os.path.splitext(video_path)
    video = cv2.VideoCapture(video_path)
    total_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
    fps = video.get(cv2.CAP_PROP_FPS)
    frames_to_skip = int(fps * seconds_per_frame)
    curr_frame = 0
 
    while curr_frame < total_frames - 1:
        video.set(cv2.CAP_PROP_POS_FRAMES, curr_frame)
        success, frame = video.read()
        if not success:
            break
        _, buffer = cv2.imencode(".jpg", frame)
        base64Frames.append(base64.b64encode(buffer).decode("utf-8"))
        curr_frame += frames_to_skip
 
    video.release()
 
    audio_path = f"{base_video_path}.mp3"
    clip = VideoFileClip(video_path)
    clip.audio.write_audiofile(audio_path, bitrate="32k")
    clip.audio.close()
    clip.close()
 
    print(f"تم استخراج {len(base64Frames)} إطار")
    print(f"تم استخراج الصوت إلى {audio_path}")
 
    return base64Frames, audio_path
 
base64Frames, audio_path = process_video(VIDEO_PATH, seconds_per_frame=1)

# نسخ الصوت
transcription = client.audio.transcriptions.create(
    model="whisper-1",
    file=open(audio_path, "rb"),
)
 
# توليد ملخص باستخدام البيانات المرئية والصوتية
response = client.chat.completions.create(
    model=MODEL,
    messages=[
        {
            "role": "system",
            "content": """أنت تولد ملخص فيديو.
            أنشئ ملخصاً للفيديو المقدم ونسخته. أجب بـ Markdown"""
        },
        {
            "role": "user",
            "content": [
                "هذه هي إطارات الفيديو.",
                *map(lambda x: {"type": "image_url",
                    "image_url":
                    {"url": f'data:image/jpg;base64,{x}', "detail": "low"}},
                base64Frames),
                {"type": "text", "text": f"نسخ الصوت هو: {transcription.text}"}
            ]
        }
    ],
    temperature=0,
)
 
print(response.choices[0].message.content)