À mes heures perdues (enfin pas tant perdu que cela, j’ai appris des choses), je me suis récemment amusé à tester les copilotes pour développeurs. Vous connaissez sûrement Claude Code ou GitHub Copilot. Ayant lu des messages et articles, j’ai décidé de voir ce type d’assistant donne mais en 100% local, sans dépendance à une solution cloud.

Le résultat est très interessant. Voici mon expérience :

🖥 Matériel : CPU AMD Ryzen 7 PRO 4750U (2020) avec 32 Go de RAM. Pas de GPU puissant, donc tout tourne côté CPU. Ce n’est clairement pas du dernier cri, mais ça fait un bon benchmark, non ?
🛠 Setup : VSCode + extension Continue côté client, et côté serveur… Llama.cpp utilisant le modèle Phi-3 (2024) et un mitmproxy.

Après quelques optimisations, les résultats sont surprenants :

➡️ J’ai commencé simple : un Hello World dans différents langages, généré en quelques secondes. Basique, mais symbolique pour démarrer dans un langage.
➡️ Analyse de code parfaitement fonctionnelle : on sélectionne le code comme contexte et on pose sa question dessus. Deux dizaines de secondes après, on a la réponse.
➡️ Optimisation de la latence : grâce à mitmproxy, j’ai pu surveiller et réduire la quantité de texte envoyée au LLM, ce qui accélère sensiblement les réponses.

Toutes les fonctionnalités attendues d’un copilote sont donc disponible à la différence que tout tourne en local (sur la même machine), avec la confidentialité (rien ne sort de chez vous) et flexible (la bascule d’un modèle LLM à l’autre est simple). En utilisant du matériel récent et notamment un bon GPU, je ne vois pas de limitation pour une grande majorité des cas d’usage.

En bref, faire tourner un assistant de développement en local… ça marche vraiment !
Et le meilleur dans tout ça ? J’utilise cette expérience pour du code, rien n’empêche d’adapter la solution d’utiliser des LLM locaux pour d’autres cas d’usages.
La seule contrainte est le support de la partie serveur décrite plus haut. Entre ça et le suivi de son usage de tokens sur les solutions externes, la question peut se poser.

❓ Et vous, avez-vous déjà essayé un copilote qui fonctionne directement sur votre machine ? L’utilisez-vous au quotidien

Je peux partager plus d’infos techniques dans les commentaires