C’est suite à la lecture de cet article ByteDance prépare ses propres CPU Arm et RISC-V pour reprendre le contrôle du coût par token que me vient cette réflexion. L’ère de l’IA ne se résume plus à une course aux GPU. Et pour cause, avec l’essor des agents autonomes, les besoins en infrastructure ont radicalement changé. Il semble que l’on passe en effet d’un monde dominé par le GPU… à une dépendance multi-composants.

Jusqu’à récemment, l’entraînement des grands modèles de langage (LLM) reposait presque exclusivement sur des GPU haut de gamme, avec NVIDIA en position de monopole. Résultat :

• Coûts élevés : Les entreprises dépendent d’un seul fournisseur, avec des marges et des prix imposés. Même, comme j’en parlais précédemment, le local AI est envisageable.
• Goulot d’étranglement : La demande en GPU explose, mais l’offre reste limitée (et chère).

Mais voici qu’un nouveau problème arrive. Les agents IA ne se contentent pas d’un simple appel à un LLM (les fameux modèles). Ils nécessitent :

• Orchestration complexe (appels à des outils externes, gestion de la mémoire, raisonnement multi-étapes).
• Mémoire massive pour maintenir le contexte et les états.
• Et potentiellement même du calcul hybride : GPU pour l’inférence, mais CPU spécialisés pour tout le reste.

La question qui se pose maintenant est qui contrôlera l’infra de demain ?

Tout ceci devient un enjeu stratégique. Et ça bouge à travers le monde. Un petit état des lieux:

• NVIDIA domine toujours et fournit le marché en GPU, mais son hégémonie est contestée.
• La Chine via par exemple ByteDance (TikTok) et Huawei investissent massivement dans leurs propres équipement (ARM, RISC-V) pour offrir des gains dans les coûts par token, maîtriser leur chaîne d’approvisionnement (et éviter les risques géopolitiques) et enfin, pourquoi pas, créer un avantage concurrentiel en optimisant leur infrastructure pour leurs besoins spécifiques.
• L’Europe n’est pas en reste. On voit des gros acteurs comme Mistral et OVH qui investisse dans l’infrastructure nécessaire afin de proposer des solutions IA. Même si ils dépendant des fournisseurs de semi-conducteurs non européen.

🤔 Maintenant qu’est-ce que cela signifie pour les entreprises?

Si vous utilisez des solutions d’IA générative ou des agents, voici ce que je suggérerais :

• Diversifiez ses dépendances
• Anticipez au maximum les coûts cachés
• Rester en veille sur les alternatives : Les prochaines générations de CPU spécialisés pourraient bouleverser le marché

Au final, cette approche n’est pas inconnue, elle a déjà été utilisée par le passé.