8 milliards de paramètres activés sur 552 chez le nouveau DeepSeek : le détail qui a alerté les concurrents américains

552 milliards de paramètres au total, mais seulement 8 milliards mobilisés pour lire une requête et 16 milliards pour y répondre. Ce ratio, dévoilé le 8 septembre par le laboratoire chinois DeepSeek avec son nouveau modèle V4.1-Flash, a suffi à faire réagir les équipes techniques des géants américains de l’IA. Au cœur de cette version se trouve ce que DeepSeek appelle une architecture asymétrique : un modèle Mixture-of-Experts de 552 milliards de paramètres, reposant sur une conception novatrice de codeur-décodeur causal, avec seulement 8 milliards de paramètres actifs dédiés au traitement des entrées. Sur le papier, l’écart entre la taille brute du modèle et son coût de calcul réel n’a jamais été aussi marqué chez DeepSeek.

Une architecture qui sépare la lecture de l’écriture

Le détail technique qui change tout s’appelle CED, pour Causal Encoder-Decoder. Le Transformer compte 40 couches réparties en un encodeur causal de 20 couches suivi d’un décodeur de 20 couches. Dans un modèle classique, chaque token du prompt traverse l’intégralité de la pile de couches, et chaque couche génère ses propres états à mettre en cache. DeepSeek casse ce schéma : l’encodeur produit d’abord des représentations de l’entrée, puis le cache KV global du décodeur est projeté à partir des états cachés finaux de l’encodeur, au lieu d’être produit indépendamment par chaque couche du décodeur. Concrètement, la phase de lecture d’un document ou d’un historique de conversation devient nettement moins gourmande que la phase de génération de la réponse.

Cette asymétrie se traduit par des chiffres précis. La lecture du prompt (pré-remplissage) active environ 8 milliards de paramètres par jeton, tandis que l’écriture de la réponse (décodage) en active environ 16 milliards. Sous le capot, le modèle repose toujours sur un mélange d’experts massif : V4.1-Flash adopte une architecture MoE avec 384 experts routés et 1 expert partagé, dont 6 experts routés sont activés pour chaque token. la puissance de 552 milliards de paramètres reste disponible en réserve, mais seule une infime fraction travaille réellement à un instant donné, un peu comme une bibliothèque de plusieurs centaines de rayons dont on ne consulterait que six étagères à la fois.

Pourquoi ce détail inquiète les laboratoires américains

Le vrai choc ne vient pas de la taille du modèle, mais de ce qu’elle permet à moindre coût. Sur le benchmark de codage DeepSWE, très suivi par les développeurs d’agents autonomes, V4.1-Flash devance de justesse Opus 5 et GPT-5.6 Sol, deux modèles concurrents pourtant considérés comme des références du secteur. Un modèle chinois open source qui rivalise avec les meilleures productions américaines sur un test aussi spécifique, voilà exactement le genre de signal qui fait sortir les calculatrices dans les équipes produit de la Silicon Valley.

La note salée à laquelle sont habitués les utilisateurs de modèles frontières occidentaux n’est pas au rendez-vous. Les tarifs de pointe s’élèvent à 0,30 dollar par million de tokens en entrée avec accès au cache manqué et 1,20 dollar par million de tokens en sortie, les tarifs hors pointe étant deux fois moins élevés. Ajoutez à cela une fenêtre de contexte confortable : le modèle gère un contexte de 1 million de tokens pour une sortie maximale de 384 000 tokens. Et surtout, DeepSeek ne garde rien pour elle. Les poids sont publiés en licence MIT sur Hugging Face, compatibles avec vLLM, SGLang et Transformers, et une API publique propose trois niveaux de raisonnement, bas, élevé et maximal. N’importe quel développeur, dans n’importe quel pays, peut télécharger ce modèle et le faire tourner sur son propre matériel sans payer de licence, une option qu’aucun grand laboratoire américain n’a jamais proposée pour un modèle de ce niveau.

L’autre chiffre qui a retenu l’attention concerne la mémoire, souvent le vrai goulot d’étranglement pour faire tourner des agents IA à grande échelle. Le cache KV est réduit à 890 octets par token, soit environ quatre fois moins que DeepSeek-V4-Flash et 437 fois moins que DeepSeek-V1. Pour une entreprise qui fait tourner des milliers de conversations simultanées, cette réduction se traduit directement par moins de serveurs à louer et moins d’électricité consommée.

Une trajectoire déjà bien installée

Ce n’est pas un coup d’éclat isolé. DeepSeek cultive cette logique d’efficacité depuis son irruption sur la scène mondiale fin 2024. Sorti en décembre 2024, DeepSeek V3 est un modèle Mixture of Experts totalisant 671 milliards de paramètres, dont environ 37 milliards sont activés par token, entraîné sur 14,8 trillions de tokens. À l’époque déjà, un chiffre avait fait grand bruit : le coût d’entraînement final, annoncé autour de 5,6 millions de dollars, plusieurs ordres de grandeur en dessous du coût estimé pour entraîner des modèles occidentaux de pointe comparables. V4.1-Flash pousse cette philosophie encore plus loin en s’attaquant non plus seulement au coût d’entraînement, mais au coût d’inférence, celui que chaque utilisateur paie à chaque requête.

La bascule s’est faite très vite côté utilisateurs. DeepSeek-V4.1-Flash est disponible pour le grand public depuis le 10 septembre 2026, et les requêtes adressées à l’ancien modèle V4-Pro seront automatiquement redirigées vers V4.1-Flash à partir du 14 septembre à 4 heures UTC. Un basculement en quelques jours, sans période de transition prolongée ni ancien modèle maintenu en parallèle indéfiniment. Reste à voir si les laboratoires américains répondront par une baisse de prix agressive ou par une nouvelle architecture maison, mais le message envoyé depuis Hangzhou est clair : la course ne se joue plus seulement sur la taille des modèles, elle se joue désormais sur ce qu’on choisit d’en activer.

Sources : intelligence-artificielle.developpez.com | lefilia.fr | lebigdata.fr