Andrej Karpathy propose les bases de connaissances LLM, un nouveau paradigme au-delà du RAG

Andrej Karpathy, ancien responsable de l'IA chez Tesla et cofondateur d'OpenAI, a introduit un nouveau workflow baptisé "LLM Knowledge Bases" qui gagne rapidement en popularité dans la communauté des développeurs. Le concept propose d'utiliser les grands modèles de langage non seulement pour répondre aux questions, mais pour construire et maintenir progressivement des wikis personnels structurés — un artefact de connaissances persistant qui devient plus intelligent avec le temps.

Points clés

• Les LLM construisent et maintiennent un wiki structuré en Markdown à partir de documents sources bruts
• L'approche contourne le RAG traditionnel en créant une couche de connaissances persistante et évolutive
• Le wiki personnel de Karpathy contient déjà environ 100 articles et plus de 400 000 mots
• Le système utilise Obsidian comme interface et git pour le contrôle de version

Une architecture à trois couches

Le système repose sur trois couches distinctes. À la base se trouve un répertoire de sources brutes contenant des documents curatés immuables — articles, publications scientifiques, images et fichiers de données servant de source de vérité.

Au-dessus se trouve le wiki lui-même : une collection de fichiers Markdown générés par le LLM, organisés par entités, concepts, résumés et références croisées. Le modèle de langage possède entièrement cette couche, créant et mettant à jour les pages à mesure que de nouvelles sources arrivent.

Au sommet se trouve le schéma, un document de configuration définissant la structure du wiki, les conventions de nommage et les workflows opérationnels.

Comment ça fonctionne

Le workflow s'articule autour de trois opérations fondamentales :

Ingestion — Lorsque de nouveaux matériaux sources arrivent dans le répertoire brut, le LLM les traite, extrait les informations clés, met à jour les pages existantes et intègre les résultats dans la synthèse en évolution.

Requête — Les utilisateurs posent des questions au wiki, et le LLM synthétise les réponses à partir des pages pertinentes. Les résultats peuvent optionnellement être enregistrés comme de nouvelles pages wiki, ce qui signifie que les réponses s'accumulent au fil du temps plutôt que de disparaître dans l'historique de conversation.

Audit — Des vérifications périodiques identifient les contradictions, les affirmations obsolètes, les pages orphelines et les connexions manquantes, garantissant l'intégrité des données à mesure que le wiki se développe.

Pourquoi cela surpasse le RAG

Les systèmes RAG traditionnels récupèrent les documents bruts à chaque requête, re-dérivant le contexte à chaque fois. L'approche de Karpathy inverse ce modèle : le LLM pré-traite et synthétise effectivement les connaissances dans une couche persistante qui s'enrichit à chaque interaction.

Comme Karpathy l'a souligné, une grande partie de son débit récent de tokens va moins vers la manipulation de code et davantage vers la manipulation de connaissances. L'humain curate les sources et pose les questions tandis que le LLM gère le travail intensif de résumé, de références croisées et de maintenance.

La pile technologique

Le système repose sur Obsidian comme interface pour naviguer et éditer le wiki. L'extension Web Clipper d'Obsidian convertit les articles web en fichiers Markdown propres. Dataview interroge les métadonnées, et git fournit un contrôle de version naturel.

Un écosystème croissant d'implémentations a déjà émergé, incluant Sage Wiki, Binder et des variantes spécialisées pour la recherche en trading, les études académiques et la capture vocale de connaissances.

Impact sur les développeurs et les chercheurs

La publication a généré plus de 30 000 interactions sur X et déclenché une vague d'implémentations open source. Les développeurs sont particulièrement attirés par l'idée que les connaissances s'accumulent plutôt que de se dégrader — chaque session de recherche laisse derrière elle des artefacts structurés sur lesquels les requêtes futures peuvent s'appuyer.

Et ensuite

À mesure que les fenêtres de contexte des LLM continuent de croître et que les capacités des agents s'améliorent, le modèle wiki-comme-base-de-connaissances pourrait devenir un workflow standard pour quiconque travaille avec de grands volumes d'information.

Source : Andrej Karpathy sur GitHub