LLM Wiki de Karpathy : au-delà du RAG

Le problème fondamental du RAG

"L'expérience de la plupart des gens avec les LLM et les documents suit le même schéma : vous téléchargez des fichiers, posez une question, des fragments sont récupérés, et vous obtenez une réponse. C'est la génération augmentée par récupération (RAG), et ça fonctionne — mais avec un défaut fondamental."

Le RAG redécouvre les connaissances à partir de zéro à chaque question. Il n'y a pas d'accumulation, pas de synthèse, pas de capitalisation. Chaque requête repart de zéro. Le système ne devient jamais plus intelligent.

Andrej Karpathy, cofondateur d'OpenAI et ancien directeur de l'IA chez Tesla, a récemment partagé une approche différente qui a conquis la communauté IA — plus de 5 000 étoiles GitHub en 48 heures.

"Qu'est-ce que le pattern LLM Wiki ?"

Le LLM Wiki est un pattern où le modèle de langage ne se contente pas de récupérer des informations — il maintient activement une base de connaissances structurée et interconnectée. Imaginez un bibliothécaire infiniment patient qui lit chaque document que vous lui confiez, met à jour chaque page pertinente du wiki, et n'oublie jamais d'ajouter les références croisées.

"L'idée centrale est simple : les humains sélectionnent et explorent ; les LLM gèrent le travail fastidieux."

Au lieu de vecteurs d'embeddings et de recherche par similarité, le wiki utilise des fichiers Markdown organisés en résumés, pages d'entités, articles conceptuels et comparaisons. Chaque affirmation peut être retracée jusqu'à un fichier source spécifique qu'un humain peut lire, modifier ou supprimer.

"L'architecture à trois couches"

Le pattern de Karpathy repose sur trois couches distinctes :

Couche 1 : Sources brutes (immuables)

Votre collection organisée de documents originaux — articles, papiers de recherche, transcriptions, notes, images. Le LLM lit cette couche mais ne la modifie jamais. Cela préserve la source de vérité.

Couche 2 : Le Wiki (généré par le LLM)

Des fichiers Markdown que le LLM possède entièrement. Il crée des pages, les met à jour quand de nouvelles sources arrivent, maintient les références croisées et assure la cohérence dans toute la base de connaissances. Les humains lisent ; les LLM écrivent.

Couche 3 : Le schéma

Des documents de configuration (comme un fichier CLAUDE.md) qui spécifient la structure du wiki, les conventions et les workflows. Cette couche transforme le LLM d'un chatbot générique en un mainteneur de connaissances discipliné.

Les opérations fondamentales

Le système supporte trois opérations fondamentales :

Ingestion (Ingest)

Quand vous ajoutez une nouvelle source, le LLM la lit, discute des points clés, rédige des résumés, met à jour l'index, révise les pages d'entités et de concepts, et ajoute des entrées au changelog. Une seule source peut impacter 10 à 15 pages du wiki simultanément.

Requête (Query)

Posez des questions au wiki. Le LLM recherche les pages pertinentes via l'index, synthétise des réponses avec des citations, et — voici la différence clé — enregistre les découvertes précieuses dans le wiki comme nouvelles pages. Vos explorations se capitalisent dans la base de connaissances au lieu de disparaître dans l'historique des conversations.

Audit (Lint)

Des vérifications périodiques qui identifient les contradictions entre les pages, les affirmations obsolètes remplacées par des sources plus récentes, les pages orphelines sans liens entrants, et les lacunes nécessitant attention.

LLM Wiki vs. RAG traditionnel

Aspect	RAG	LLM Wiki
Persistance des connaissances	Recalculée à chaque requête	Compilée une fois, maintenue à jour
Structure	Fragments plats dans un store vectoriel	Wiki organisé avec références croisées
Transparence	Embeddings opaques	Fichiers Markdown lisibles
Accumulation	Aucune — chaque requête repart de zéro	Chaque source rend le wiki plus intelligent
Maintenance	Mises à jour manuelles nécessaires	Le LLM gère tout
Échelle optimale	Grandes collections de documents	Personnel à départemental (environ 100 articles, 400K mots)

À l'échelle d'une base de connaissances personnelle — environ 100 articles et 400 000 mots — la capacité du LLM à naviguer via les résumés et fichiers d'index est largement suffisante. L'infrastructure RAG complexe introduit souvent plus de latence et de bruit de récupération qu'elle n'en résout.

Cas d'utilisation concrets

Karpathy décrit plusieurs applications convaincantes :

Développement personnel : suivre les objectifs, les observations de santé et la psychologie à travers des journaux et des articles sélectionnés. Construire une image structurée de soi au fil du temps.
Recherche : lire des papiers pendant des semaines ou des mois tandis qu'un wiki évolutif capture votre thèse en développement, chaque nouveau papier renforçant ou remettant en question la compréhension existante.
Compagnon de lecture : construire un wiki de fan en lisant un livre — personnages, thèmes, fils d'intrigue, le tout interconnecté automatiquement.
Intelligence business : alimenter les threads Slack, les transcriptions de réunions et les appels clients dans un wiki qui reste à jour parce que l'IA fait la maintenance que personne ne veut faire.

Pourquoi le problème de maintenance compte

La raison pour laquelle la plupart des bases de connaissances meurent n'est pas le manque d'informations — c'est le manque de maintenance. Les références croisées deviennent obsolètes, les nouvelles informations contredisent les anciennes pages, et la charge de maintenir la cohérence croît plus vite que la valeur d'ajouter du nouveau contenu.

Les LLM résolvent ce problème parce qu'ils ne s'ennuient pas. Ils n'oublient pas de mettre à jour une référence croisée. Ils peuvent modifier 15 fichiers en un seul passage. La charge de maintenance qui tue les wikis gérés par des humains devient triviale pour un agent IA.

Comment démarrer

Le pattern est volontairement abstrait — Karpathy l'a partagé comme un "fichier d'idée" plutôt qu'une implémentation rigide. À l'ère des agents LLM, on partage des concepts, et l'agent de chacun construit une version personnalisée.

Voici un point de départ minimal :

Créez un dossier de sources brutes pour vos documents originaux
Préparez un dossier wiki où le LLM écrira des fichiers Markdown
Rédigez un document de schéma (CLAUDE.md ou similaire) décrivant la structure du wiki, les types de pages et les conventions
Commencez l'ingestion — ajoutez une source à la fois et laissez le wiki grandir progressivement

La clé est de commencer petit. Un sujet. Quelques sources. Laissez le wiki grandir organiquement au fil de vos explorations.

La vision d'ensemble

Le pattern LLM Wiki représente un changement dans notre façon de penser l'IA et la connaissance. Au lieu de traiter les LLM comme des moteurs de recherche qui répondent aux questions à la demande, nous les traitons comme des travailleurs du savoir qui construisent et maintiennent des artefacts intellectuels persistants.

Comme le dit Karpathy : dans ce workflow, une grande partie du débit de tokens ne va plus à la manipulation de code mais à la manipulation de connaissances. Le wiki devient un modèle vivant du domaine lui-même — exprimé en texte, pas en tenseurs.

Pour quiconque passe un temps significatif à rechercher, apprendre ou gérer de l'information, ce pattern offre quelque chose que le RAG n'a jamais pu offrir : des connaissances qui se capitalisent et grandissent.