Demarrer avec ALLaM-7B-Instruct-preview

# -*- coding: utf-8 -*-
"""
Exemple d'utilisation du modele ALLaM-AI/ALLaM-7B-Instruct-preview depuis Hugging Face.
"""
 
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
 
# --- Configuration ---
MODEL_NAME = "ALLaM-AI/ALLaM-7B-Instruct-preview"
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
print(f"Utilisation du peripherique: {DEVICE}")
 
# --- Charger le Modele et le Tokenizer ---
try:
    print(f"Chargement du modele: {MODEL_NAME}...")
    allam_model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
    print(f"Chargement du tokenizer: {MODEL_NAME}...")
    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
    print("Modele et tokenizer charges avec succes.")
 
    allam_model = allam_model.to(DEVICE)
 
except Exception as e:
    print(f"Erreur lors du chargement du modele ou du tokenizer: {e}")
    exit(1)
 
# --- Preparer l'Entree ---
messages = [
    {"role": "user", "content": "Comment preparer une tasse de the?"},
]
 
# Appliquer le template de chat
try:
    print("Application du template de chat...")
    formatted_input_string = tokenizer.apply_chat_template(messages, tokenize=False)
    print(f"Chaine d'entree formatee:\n{formatted_input_string}")
 
    print("Tokenisation de l'entree...")
    inputs = tokenizer(formatted_input_string, return_tensors='pt', return_token_type_ids=False)
    inputs = {k: v.to(DEVICE) for k, v in inputs.items()}
    print("Entree preparee pour le modele.")
 
except Exception as e:
    print(f"Erreur lors de la preparation de l'entree: {e}")
    exit(1)
 
# --- Generer la Reponse ---
print("Generation de la reponse...")
try:
    generation_params = {
        "max_new_tokens": 4096,
        "do_sample": True,
        "top_k": 50,
        "top_p": 0.95,
        "temperature": 0.6
    }
 
    with torch.no_grad():
        response_ids = allam_model.generate(**inputs, **generation_params)
 
    print("Decodage de la reponse...")
    decoded_response = tokenizer.batch_decode(response_ids, skip_special_tokens=True)[0]
 
    if decoded_response.startswith(formatted_input_string):
         final_output = decoded_response[len(formatted_input_string):].strip()
    else:
         final_output = decoded_response
 
    print("\n--- Reponse Generee ---")
    print(final_output)
    print("--------------------------\n")
 
except Exception as e:
    print(f"Erreur lors de la generation ou du decodage: {e}")
    exit(1)
 
print("Script termine avec succes.")

python allam_example.py

/**
 * Exemple d'utilisation JavaScript pour interagir avec le modele ALLaM heberge sur Hugging Face Spaces.
 */
 
// !!! REMPLACEZ CECI PAR L'URL REELLE DE VOTRE ENDPOINT API !!!
const HF_SPACE_API_URL = "https://YOUR_USERNAME-YOUR_SPACE_NAME.hf.space/generate";
 
const userPrompt = "Comment preparer une tasse de the?";
 
async function generateTextViaHFSpace(promptText) {
  console.log(`Envoi du prompt a HF Space: "${promptText}" a ${HF_SPACE_API_URL}`);
 
  if (HF_SPACE_API_URL.includes("YOUR_USERNAME-YOUR_SPACE_NAME")) {
    console.error("Erreur: Veuillez remplacer HF_SPACE_API_URL par l'URL reelle de votre endpoint.");
    return null;
  }
 
  try {
    const response = await fetch(HF_SPACE_API_URL, {
      method: "POST",
      headers: {
        "Content-Type": "application/json",
      },
      body: JSON.stringify({ prompt: promptText }),
    });
 
    if (!response.ok) {
      throw new Error(`Erreur HTTP! statut: ${response.status}`);
    }
 
    const data = await response.json();
    console.log("Reponse recue de HF Space.");
    return data.generated_text || data.response || data;
 
  } catch (error) {
    console.error("Erreur lors de l'appel a l'API Hugging Face Space:", error);
    throw error;
  }
}
 
// Execution
(async () => {
  try {
    const generatedText = await generateTextViaHFSpace(userPrompt);
    if (generatedText !== null) {
        console.log("\n--- Reponse Generee (depuis HF Space) ---");
        console.log(generatedText);
        console.log("------------------------------------------\n");
    }
  } catch (error) {
    console.error("Echec de l'obtention de la generation depuis Hugging Face Space.");
  }
})();