Il y a un mois, je partageais cette vidéo expliquant les bases des LLM en 1 minute. Aujourd’hui, je passe à l’étape supérieure en découvrant “LLM from Scratch” : un workshop où je peux mettre les mains dans la machine. En une soirée et avec un peu de Python, ce workshop nous lance dans la création d’un petit LLM. Cela a piqué ma curiosité. Grâce à ce workshop, je comprends mieux les concepts fondamentaux derrière ces modèles. Et c’est bien moins flippant que ce qu’on imagine !

Prérequis : Connaître un minimum le language Python (si vous savez faire un print(“Hello World”), vous êtes qualifiés 🥳 ).

Au programme et sans spoiler :
✅ Étape 1 : La “tokenisation”, ou “comment transformer du texte en Lego pour l’ordinateur”.
✅ Étape 2 : Les “embeddings”, ou “pourquoi votre chat et mon chat ne sont pas le même chat pour l’IA” (spoiler : c’est une histoire de maths).
✅ Étape 3 : L’assemblage, ou “comment faire croire à votre PC qu’il est intelligent” (il ne l’est pas. Désolé.).
✅ Étape 4 : La génération de texte, ou “comment faire parler votre modèle… même s’il dit parfois des bêtises”.

Pourquoi c’est cool ?   
– Plus besoin de faire semblant de comprendre quand on me parlera de transformers et je ne parle pas du film.
– Lors de ma prochaine soirée mondaine, je pourrais dire : “Moi aussi, j’ai codé un LLM… enfin, un mini-LLM. Mais c’est déjà ça !”
– Je serais en mesure d’expliquer à mon étourage c’est qu’un LLM avec un peu plus de détails… sans avoir l’air de réciter un cours.  

🫵 À vous de jouer !

Pour les ambitieux: si cela vous a donné envie d’aller plus loin, ce livre “Build a Large Language Model from Scratch” semble être une bonne référence pour avancer sur votre prochain défi. Attention, votre cerveau pourrait vous en vouloir… mais au moins, vous saurez pourquoi ! 😂