DeepSeek : anatomie technique d'un LLM qui a rebattu les cartes

En janvier 2025, un laboratoire chinois encore discret a bousculé les certitudes de l'industrie. DeepSeek-R1, son modèle de raisonnement, affichait des performances comparables à celles d'OpenAI o1 sur les épreuves mathématiques les plus exigeantes. Quelques semaines plus tôt, DeepSeek-V3 rivalisait avec les meilleurs modèles généralistes — pour un coût de run final annoncé à 5,6 millions de dollars. La réaction fut spectaculaire : le 27 janvier 2025, l'action Nvidia perdait 589 milliards de dollars de capitalisation en une seule séance, la plus forte baisse journalière de l'histoire boursière. Mais l'essentiel n'est ni dans la Bourse, ni dans la géopolitique. Il est dans l'architecture même de ces modèles.

Cet article propose une plongée technique dans l'écosystème DeepSeek, de la version V2 jusqu'aux modèles de 2026. Nous allons décortiquer chaque brique architecturale — Mixture-of-Experts, Multi-Head Latent Attention, entraînement FP8, distillation — et lire les benchmarks domaine par domaine. L'objectif est simple : comprendre pourquoi ces innovations comptent et ce qu'elles changent concrètement pour les praticiens de l'IA. Que vous soyez data scientist, ingénieur ML, ou responsable technique évaluant des options de déploiement, cette analyse vous donne les clés pour aller au-delà des gros titres.

Un mot de méthode, d'abord. Les discussions publiques se concentrent souvent sur deux chiffres : le prix (5,6 millions de dollars) et la géopolitique (Chine contre États-Unis). Or la vraie contribution de DeepSeek se situe dans ses innovations d'ingénierie. Nous verrons d'ailleurs que le fameux montant de 5,6 millions mérite d'être remis dans son contexte : il raconte une histoire, mais pas toute l'histoire.

DeepSeek en bref : chronologie d'une ascension

Avant de plonger dans les rouages, il est utile de situer le contexte. DeepSeek n'est pas apparu de nulle part. Le laboratoire est le fruit d'une trajectoire singulière, à la croisée de la finance quantitative et de la recherche en intelligence artificielle.

L'histoire commence avec High-Flyer, un fonds d'investissement quantitatif fondé à Hangzhou par Liang Wenfeng. Spécialisé dans le trading algorithmique, ce fonds a accumulé une solide expertise en traitement massif de données et en apprentissage automatique. Dès 2021, High-Flyer a commencé à constituer un parc de GPU NVIDIA A100, anticipant la montée en puissance des modèles de langage. Ce choix s'est révélé décisif : lorsque les États-Unis ont durci les restrictions d'export de puces vers la Chine en octobre 2022, le fonds disposait déjà d'une infrastructure matérielle conséquente. En 2023, Liang Wenfeng a créé DeepSeek comme entité de recherche dédiée à l'IA générative, financée par les profits de High-Flyer. Cette structure a permis à l'équipe de se concentrer sur la recherche fondamentale, à l'abri de la pression commerciale immédiate.

Quatre versions, quatorze mois

L'évolution des modèles DeepSeek suit une trajectoire d'accélération remarquable. Chaque version apporte des innovations d'architecture, et non une simple mise à l'échelle :

• DeepSeek-V1 (novembre 2023) : premier modèle du laboratoire, 67 milliards de paramètres, architecture dense classique, entraîné sur environ 2 000 milliards de tokens. Des performances honorables, sans rupture.
• DeepSeek-V2 (mai 2024) : virage architectural majeur. Introduction du Mixture-of-Experts (236 milliards de paramètres totaux, 21 milliards activés par token) et de la Multi-Head Latent Attention. Cette dernière réduit l'empreinte du cache mémoire de 93,3 % à performances équivalentes.
• DeepSeek-V3 (décembre 2024) : passage à l'échelle du MoE avec 671 milliards de paramètres totaux, dont 37 milliards activés par token. Entraînement sur 14 800 milliards de tokens en précision FP8.
• DeepSeek-R1 (janvier 2025) : modèle de raisonnement bâti sur V3, entraîné par apprentissage par renforcement. Publication simultanée de six modèles distillés, de 1,5 à 70 milliards de paramètres, qui rendent le raisonnement avancé accessible sur du matériel modeste.

Cette progression, en à peine quatorze mois, illustre une approche itérative où chaque version sert de fondation à la suivante. Les innovations de V2 sont conservées et améliorées dans V3, qui sert ensuite de base à R1. Ce n'est pas un développement linéaire, mais un empilement méthodique de briques architecturales. Cette discipline a une conséquence pratique : chaque avancée est isolable et compréhensible, ce qui facilite la reproduction par d'autres équipes. On peut adopter la Multi-Head Latent Attention sans le reste, ou l'entraînement FP8 séparément. Les innovations de DeepSeek ne forment pas un bloc monolithique difficile à répliquer, mais un catalogue de techniques réutilisables — et c'est précisément ce qui a nourri leur diffusion rapide dans le reste de l'industrie.

Un élément mérite d'être souligné : la cadence de publication scientifique. Entre janvier 2024 et janvier 2025, l'équipe a publié quelque sept articles techniques majeurs — DeepSeekMoE, V2, Coder-V2, Math, Prover, V3 et R1 — chacun accompagné de la publication des poids du modèle, et le plus souvent du code. Cette transparence contraste avec la discrétion d'autres acteurs de premier plan : OpenAI n'a par exemple publié aucun rapport technique détaillé pour GPT-4. Les modèles DeepSeek sont diffusés sous licence MIT, plus permissive pour les entreprises que la licence communautaire de la famille Llama de Meta.

La vraie signature de DeepSeek n'est pas un prix, c'est une méthode : publier chaque brique, poids et code compris, et laisser la communauté vérifier.

Le Mixture-of-Experts : activer moins pour calculer mieux

L'innovation qui rend possible un modèle de 671 milliards de paramètres avec un coût d'inférence raisonnable, c'est le Mixture-of-Experts (MoE). Le concept n'est pas neuf — il remonte aux travaux de Jacobs et Jordan au début des années 1990, qui proposaient déjà de confier différentes parties d'un problème à différents sous-réseaux spécialisés. Longtemps resté marginal, il est revenu au premier plan à mesure que la taille des modèles de langage rendait l'approche dense de plus en plus coûteuse. DeepSeek n'a donc pas inventé le MoE ; l'équipe l'a poussé à un niveau de sophistication et de fiabilité inédit dans les très grands modèles de langage, en résolvant plusieurs des problèmes pratiques qui en freinaient l'adoption.

Le principe, simplement

Un modèle de langage classique, dit « dense », active l'intégralité de ses paramètres pour traiter chaque token. GPT-3, avec ses 175 milliards de paramètres tous mobilisés à chaque mot généré, en est l'exemple le plus documenté. C'est comme demander à tous les collaborateurs d'une entreprise de plancher sur chaque dossier, y compris ceux qui n'ont aucune expertise pertinente. GPT-4, lui, échapperait à ce schéma pur : des fuites non confirmées par OpenAI lui prêtent environ 1 800 milliards de paramètres au total, répartis selon sa propre architecture à experts, dont seuls quelque 280 milliards seraient mobilisés par token — près de huit fois plus que les 37 milliards de DeepSeek-V3, mais déjà loin d'une activation intégrale.

L'architecture MoE fonctionne autrement. Le modèle est composé de plusieurs sous-réseaux spécialisés, appelés « experts », et d'un mécanisme de routage qui sélectionne, pour chaque token, les experts les plus pertinents. Concrètement, dans DeepSeek-V3 :

• Chaque couche MoE compte 256 experts routés ;
• Pour chaque token, le routeur n'en active que 8 ;
• Un expert « partagé » supplémentaire reste toujours actif, garantissant un socle de compétences commun ;
• Résultat : 671 milliards de paramètres au total, mais seulement 37 milliards activés par token, soit environ 5,5 % du modèle.

Cette parcimonie est la clé de l'économie de calcul. Le modèle dispose de la vaste connaissance que permettent 671 milliards de paramètres, mais ne paie, à chaque token, que le coût de calcul de 37 milliards. C'est ce découplage entre capacité et coût d'inférence qui fait toute la différence. Pour prendre une comparaison parlante : là où un modèle dense mobilise l'équivalent de toute une bibliothèque pour répondre à chaque question, le MoE convoque uniquement les quelques rayons pertinents. La bibliothèque reste immense — donc riche — mais la consultation reste rapide et peu coûteuse.

Ce mécanisme éclaire aussi la comparaison avec les modèles denses de première génération, comme GPT-3 et ses 175 milliards de paramètres tous actifs à chaque token, qui incarnent l'approche « force brute » : plus de paramètres, plus de calcul, à chaque token. Même GPT-4, dont l'architecture reposerait elle aussi, selon des fuites non confirmées, sur un mécanisme d'activation partielle, resterait nettement moins parcimonieux que DeepSeek-V3 : la part mobilisée par token (environ 280 milliards de paramètres, toujours selon ces mêmes fuites) est un multiple des 37 milliards activés par DeepSeek-V3. DeepSeek-V3 pousse cette logique de parcimonie beaucoup plus loin — beaucoup de paramètres en réserve, très peu activés à la fois. À capacité comparable, l'écart de coût d'inférence entre les deux approches se compte en multiples, pas en pourcentages. C'est cette équation qui a retenu l'attention des équipes techniques, bien au-delà du buzz médiatique.

Les raffinements de DeepSeek

Deux difficultés classiques guettent tout système MoE. D'abord, l'équilibrage de charge : si le routeur envoie toujours les mêmes tokens vers les mêmes experts, certains sont saturés et d'autres inutilisés, ce qui gaspille la capacité du modèle. Ce phénomène, appelé « effondrement du routage », est le cauchemar de tout praticien du MoE : le modèle se comporte alors comme s'il ne disposait que d'une poignée d'experts réellement entraînés, gâchant la majeure partie de ses paramètres. La solution habituelle consiste à ajouter une « perte auxiliaire » qui force la répartition, mais elle introduit un compromis désagréable : plus on force l'équilibre, plus on perturbe l'apprentissage de la tâche principale.

DeepSeek-V3 introduit une stratégie d'équilibrage sans perte auxiliaire qui échappe à ce dilemme. Plutôt que de pénaliser le modèle, le système ajuste dynamiquement un petit biais associé à chaque expert : un expert surchargé voit son biais baisser, ce qui le rend moins attractif au routeur ; un expert délaissé voit le sien monter. L'équilibre s'installe naturellement, sans terme de pénalité qui viendrait dégrader la qualité. C'est une idée élégante, typique de l'approche DeepSeek : résoudre un problème d'ingénierie par une astuce simple plutôt que par une couche de complexité supplémentaire.

Ensuite, la prédiction multi-token (Multi-Token Prediction) densifie le signal d'entraînement. Un modèle de langage classique apprend en prédisant le token suivant, un à la fois. Le MTP demande au modèle d'anticiper plusieurs tokens à l'avance à chaque position : le signal d'apprentissage est plus riche, chaque exemple d'entraînement enseigne davantage. Bénéfice secondaire, ce mécanisme ouvre la voie à un décodage spéculatif qui accélère la génération à l'inférence. Là encore, une même idée sert deux objectifs — qualité d'entraînement et vitesse d'exécution.

Multi-Head Latent Attention : la clé de l'efficacité mémoire

La deuxième grande innovation, plus discrète mais tout aussi structurante, concerne le mécanisme d'attention. Dans un transformer classique, chaque token généré doit consulter tous les tokens précédents. Pour éviter de tout recalculer, le modèle conserve en mémoire les représentations intermédiaires — le fameux cache clé-valeur (KV cache). Sur les longs contextes, ce cache devient le principal goulet d'étranglement : il gonfle avec la longueur de la conversation et sature rapidement la mémoire des accélérateurs.

Pour saisir l'enjeu, un ordre de grandeur : sur les grands transformers, le cache KV peut occuper plusieurs dizaines de gigaoctets de mémoire vive pour une seule longue conversation. C'est souvent lui, et non les paramètres du modèle, qui limite le nombre d'utilisateurs qu'un serveur peut traiter simultanément. Optimiser le cache KV, c'est donc agir directement sur le nerf de la guerre économique de l'inférence.

La Multi-Head Latent Attention (MLA) s'attaque frontalement à ce problème. Les mécanismes antérieurs, comme l'attention à requêtes groupées, réduisaient le cache en partageant des clés et valeurs entre plusieurs têtes d'attention — au prix d'une petite perte de qualité. La MLA adopte une voie différente : au lieu de stocker les clés et valeurs en pleine dimension, elle les projette dans un espace latent de faible dimension, ne conserve en cache que cette version compressée, puis reconstruit les clés et valeurs complètes à la volée au moment du calcul. On échange un peu de calcul supplémentaire contre une économie de mémoire massive — un compromis presque toujours gagnant sur le matériel moderne, où la mémoire est plus rare que la puissance de calcul.

Le gain est spectaculaire : le rapport technique de DeepSeek-V2 fait état d'une réduction du cache KV de 93,3 % à performances comparables. Concrètement, un même serveur peut traiter beaucoup plus de requêtes simultanées, ou des contextes bien plus longs, sans matériel supplémentaire. Pour un déploiement en production, où le coût d'inférence pèse lourd sur la facture, c'est une avancée décisive — et sans doute l'innovation de DeepSeek la moins visible du grand public, mais la plus copiée par ses pairs.

Réduire le cache mémoire de plus de 90 % ne change pas seulement un benchmark : cela transforme l'économie du déploiement, requête après requête.

Entraînement FP8 et infrastructure sous contrainte

La troisième pièce du puzzle relève de l'ingénierie d'entraînement. DeepSeek-V3 a été entraîné en précision FP8, c'est-à-dire en représentant les nombres sur 8 bits seulement, là où l'usage courant privilégie 16 ou 32 bits. Diviser la précision, c'est réduire d'autant la mémoire nécessaire et accélérer les calculs — à condition de maîtriser la perte de finesse, qui peut faire dérailler un entraînement.

La difficulté est réelle. Avec seulement 8 bits, l'éventail des valeurs représentables est étroit : les nombres très grands ou très petits sont mal restitués, et les erreurs d'arrondi s'accumulent au fil de milliers de milliards d'opérations. Un entraînement mené naïvement en FP8 diverge, tout simplement. L'équipe a donc développé un cadre d'entraînement à précision mixte, très fin : le FP8 est employé pour les multiplications de matrices, gourmandes et tolérantes, tandis que les accumulations et les opérations sensibles conservent une précision supérieure. Des techniques de mise à l'échelle par blocs ajustent dynamiquement l'amplitude des valeurs pour rester dans la plage exploitable. Le résultat est l'un des premiers entraînements FP8 réussis à cette échelle documenté publiquement — une contribution que d'autres laboratoires ont depuis étudiée de près.

Optimiser sous contrainte d'export

Le contexte matériel ajoute une couche d'intérêt. Faute d'accès aux GPU les plus performants, l'entraînement a reposé sur des accélérateurs H800, une version bridée du H100 destinée au marché chinois, dont la bande passante d'interconnexion est réduite. Cette contrainte a poussé l'équipe à optimiser en profondeur la communication entre puces — un domaine souvent négligé quand le matériel est abondant. Beaucoup des innovations de DeepSeek naissent précisément de cette économie forcée : l'efficacité n'était pas un luxe, mais une nécessité.

Le vrai coût : au-delà des 5,6 millions

Nous y voilà. Le rapport technique de DeepSeek-V3 chiffre l'entraînement à environ 2,788 millions d'heures-GPU H800, soit, à un tarif de location de 2 dollars l'heure, près de 5,576 millions de dollars. Ce chiffre est exact, mais il faut savoir précisément ce qu'il recouvre : uniquement le run de pré-entraînement final. Il exclut, de l'aveu même des auteurs, la recherche antérieure, les expériences d'ablation, les essais d'architecture et le développement de la MLA, qui a mobilisé des équipes pendant des mois.

Le cabinet SemiAnalysis, dans son analyse détaillée, estime le CapEx serveurs total de DeepSeek à environ 1,6 milliard de dollars, avec une dépense matérielle historique bien supérieure à 500 millions de dollars, et un coût d'exploitation des clusters de l'ordre de 944 millions. Le développement de la seule Multi-Head Latent Attention, rappellent les analystes, a mobilisé une équipe pendant des mois — un investissement invisible dans le chiffre du run final, mais bien réel.

Autrement dit, l'histoire d'« un modèle de pointe pour 5,6 millions de dollars » est séduisante mais trompeuse. La bonne lecture est plus nuancée, et plus intéressante : DeepSeek n'a pas rendu l'IA de pointe cent fois moins chère d'un coup de baguette ; l'équipe a obtenu une efficacité d'ingénierie qui réduit fortement le coût marginal d'un run, tout en s'appuyant sur un investissement de fond considérable. C'est cette efficacité, et non un miracle budgétaire, qui constitue la vraie prouesse. Pour un lecteur pressé, la formule à retenir tient en une phrase : le chiffre de 5,6 millions est vrai, mais il mesure la dernière étape d'une course, pas la course entière. Confondre les deux, c'est passer à côté de ce que DeepSeek a réellement accompli.

DeepSeek-R1 et la distillation : le raisonnement à moindre coût

Si V3 a impressionné par son efficacité, c'est R1 qui a véritablement électrisé la communauté. R1 est un modèle de raisonnement : au lieu de répondre d'un trait, il déroule une chaîne de réflexion, explore des pistes, se corrige. Cette capacité, popularisée par o1 d'OpenAI, était jusque-là l'apanage des grands laboratoires fermés.

Un entraînement par renforcement pur

La méthode d'entraînement de R1 a surpris. La variante R1-Zero a été entraînée par apprentissage par renforcement pur, sans phase préalable de supervision humaine ; l'algorithme utilisé, baptisé GRPO, récompense simplement le modèle quand il aboutit à la bonne réponse. Le modèle a développé seul, par essais et récompenses, des comportements de raisonnement sophistiqués. Le rapport technique décrit un phénomène marquant : au fil de l'entraînement, R1-Zero s'est mis spontanément à allonger ses raisonnements, à revenir sur ses propres étapes et à se corriger — les auteurs évoquent même un « moment de prise de conscience » où le modèle réévalue son approche en cours de route. Personne ne lui avait montré comment faire : ces stratégies ont émergé de la seule pression de la récompense.

R1-Zero avait toutefois un défaut : ses raisonnements, bien qu'efficaces, étaient parfois confus, mêlant les langues ou sautant des étapes. Le modèle final, R1, corrige cela en ajoutant une petite phase de démarrage à froid — quelques milliers d'exemples de raisonnements soignés — avant de reprendre le renforcement. On obtient ainsi le meilleur des deux mondes : la puissance découverte par le renforcement pur, et la lisibilité qu'attend un utilisateur. Cette démonstration — qu'un modèle peut apprendre à raisonner presque sans données annotées — figure parmi les contributions scientifiques les plus commentées de l'année.

R1 face à o1 : les chiffres officiels

Sur les benchmarks de raisonnement publiés dans le rapport technique, R1 se mesure directement à o1 (version o1-1217) :

• AIME 2024 (mathématiques de compétition) : R1 obtient 79,8 %, contre 79,2 % pour o1 — un léger avantage à R1 ;
• MATH-500 : R1 atteint 97,3 %, contre 96,4 % pour o1 ;
• Codeforces (programmation compétitive) : R1 décroche un rating de 2029, contre 2061 pour o1 — cette fois l'avantage est à o1, mais 2029 place déjà R1 au-dessus de 96,3 % des programmeurs humains ;
• R1 devance également o1 sur SWE-Bench Verified, un test de résolution de bugs logiciels réels.

Le tableau ci-dessous synthétise ces résultats, tirés du rapport technique de R1 :

Le tableau d'ensemble est celui d'un modèle ouvert qui égale, et parfois dépasse légèrement, l'un des meilleurs modèles fermés du moment — avec, selon les analyses publiées, un coût d'usage inférieur d'environ 95 %. C'est ce rapport performance-prix, plus que la performance brute, qui a marqué les esprits. Un point mérite d'être noté pour la rigueur : ces écarts, de l'ordre du demi-point sur les épreuves de mathématiques, sont ténus. Ils suffisent à établir que R1 joue dans la même cour que o1, mais pas à décréter une supériorité franche. La leçon utile n'est pas « le modèle ouvert a gagné », mais « l'écart entre modèles ouverts et fermés s'est réduit à presque rien ».

La distillation : le raisonnement pour tous

La partie la plus utile pour les praticiens est sans doute la distillation. L'idée : transférer les capacités de raisonnement du grand modèle R1 vers des modèles beaucoup plus petits. En pratique, l'équipe a généré 800 000 exemples de chaînes de raisonnement avec R1, puis a affiné six modèles existants sur ces données : des versions de 1,5, 7, 8, 14, 32 et 70 milliards de paramètres, dérivées des familles Qwen 2.5 et Llama 3.

Le résultat est frappant. Le modèle distillé de 14 milliards de paramètres atteint 69,7 % sur AIME 2024 et 93,9 % sur MATH-500 — des scores qui rivalisent avec des modèles quatre fois plus gros. Concrètement, un raisonnement de bon niveau devient accessible sur une carte graphique grand public, sans cluster ni budget cloud démesuré. Pour un développeur ou une petite structure, c'est la différence entre expérimenter le raisonnement avancé chez soi, ou en rester spectateur.

Un mot sur le mécanisme, car il est souvent mal compris. La distillation ne consiste pas à « compresser » le grand modèle : le petit modèle n'est pas une version réduite de R1. On utilise plutôt R1 comme un professeur qui produit des milliers d'exemples de raisonnements détaillés, sur lesquels on entraîne ensuite un modèle plus petit à imiter la démarche. Le petit modèle n'égale pas son professeur sur toutes les tâches, mais il en hérite l'essentiel du savoir-faire de raisonnement, pour une fraction du coût d'exécution. C'est une forme de transmission — du grand vers le petit — qui s'avère remarquablement efficace lorsque la tâche cible est bien définie.

Lire les benchmarks sans se faire avoir

Un mot de prudence, car c'est le cœur de notre chronique. Un score sur un tableau ne vaut rien sans son protocole. Les benchmarks de raisonnement sont sensibles à mille détails : nombre d'essais, température d'échantillonnage, format du prompt, version exacte du modèle comparé. Les chiffres cités ici proviennent des rapports techniques officiels et de comparaisons publiées, mais la règle d'or reste la même : se méfier des classements marketing et vérifier la source.

Là où DeepSeek excelle indéniablement, c'est en mathématiques et en code — des domaines où la réponse est vérifiable, ce qui se prête bien à l'apprentissage par renforcement. Les limites existent aussi, et il serait malhonnête de les taire : sur le multilinguisme fin, sur certains usages conversationnels grand public, ou sur des questions sensibles soumises à des contraintes de modération propres au marché d'origine, le comportement peut différer de celui des modèles occidentaux. Un bon évaluateur teste sur ses propres cas d'usage plutôt que de se fier à un score global.

Ce que ces innovations impliquent, en pratique

Passons du laboratoire au terrain. Pour un responsable technique qui évalue des options, ces briques architecturales ne sont pas de simples curiosités : elles se traduisent en décisions concrètes.

Le Mixture-of-Experts change la façon de dimensionner un déploiement. Un modèle MoE de 671 milliards de paramètres exige de charger l'ensemble des poids en mémoire — c'est lourd — mais ne consomme, par token généré, que la puissance de calcul de 37 milliards de paramètres. Autrement dit, le facteur limitant devient la capacité mémoire du parc, pas nécessairement sa puissance brute. Cela oriente les choix d'infrastructure : privilégier des configurations à forte mémoire, quitte à mutualiser un grand modèle entre de nombreuses requêtes pour amortir son chargement.

La Multi-Head Latent Attention, elle, éclaire une question souvent sous-estimée : le coût des contextes longs. Une application qui traite de longs documents ou de longues conversations voit sa facture d'inférence grimper avec la taille du cache mémoire. Un modèle qui compresse ce cache autorise des contextes plus longs à budget constant — un critère de sélection déterminant pour du traitement documentaire, de l'analyse de code ou des agents à mémoire étendue.

Enfin, la distillation rebat les cartes de l'accessibilité. Il n'est pas toujours nécessaire de déployer le modèle géant. Pour beaucoup de cas d'usage — assistance au code, résolution de problèmes structurés, extraction d'information — un modèle distillé de 14 ou 32 milliards de paramètres, exécutable sur une seule carte graphique, offre un rapport qualité-coût très favorable. La bonne démarche consiste à tester le plus petit modèle capable de tenir la tâche, plutôt que de partir par défaut sur le plus gros. C'est souvent là que se cache l'économie la plus substantielle.

La question utile n'est pas « quel est le meilleur modèle ? » mais « quel est le plus petit modèle qui résout mon problème ? » — et l'écosystème DeepSeek a considérablement élargi l'éventail des réponses possibles.

Où en est DeepSeek en 2026 ?

Depuis R1, l'histoire a continué de s'écrire — et il faut ici corriger une idée reçue. Le modèle très attendu DeepSeek-R2 n'est, à la mi-2026, toujours pas sorti officiellement. Les spécifications qui circulent à son sujet relèvent de la fuite non confirmée, et l'entreprise n'a pas communiqué de calendrier arrêté. Prudence, donc, avec tout ce qui se présente comme des « specs de R2 ».

Ce qui est bien réel, en revanche, c'est la lignée V3.2 puis V4. En septembre 2025, V3.2-Exp a introduit la DeepSeek Sparse Attention (DSA), une attention creuse qui ne calcule l'attention complète que sur une sélection de tokens compressés, tout en gardant une fenêtre glissante de 128 tokens pour le contexte local. Cette technique, durcie dans V3.2 (décembre 2025), a atteint sa maturité avec V4, publié le 24 avril 2026.

Le principe de l'attention creuse mérite qu'on s'y arrête, car il prolonge directement la logique de la MLA. Là où la MLA compressait le cache mémoire, la DSA réduit le nombre de tokens sur lesquels l'attention complète est calculée : pour chaque nouveau token, le modèle ne consulte finement qu'une sélection des tokens passés jugés les plus pertinents, tout en conservant une fenêtre glissante de 128 tokens pour le contexte immédiat. Sur un contexte d'un million de tokens, la différence est colossale — calculer l'attention sur tout serait prohibitif ; la calculer sur une fraction bien choisie rend la chose praticable.

V4 se décline en deux configurations MoE : V4-Pro (1,6 billion de paramètres totaux, 49 milliards activés) et V4-Flash (284 milliards, 13 milliards activés), toutes deux sous licence MIT et capables de gérer un contexte d'un million de tokens. L'efficacité reste la boussole : à 1 million de tokens, V4-Pro n'utilise qu'environ 27 % des opérations de calcul par token et 10 % de l'empreinte du cache mémoire de la génération précédente. Sur SWE-bench Verified, la variante V4-Pro-Max atteint 80,6 %, la meilleure entrée parmi les modèles à poids ouverts à ce jour. La trajectoire est limpide, et elle prolonge exactement la philosophie de départ : faire plus avec moins. De V2 à V4, une même obsession traverse chaque publication — repousser la frontière de l'efficacité, brique après brique.

Un effet de levier sur tout l'écosystème ouvert

Au-delà des modèles eux-mêmes, la contribution de DeepSeek tient à sa manière de les diffuser. Les poids sont publiés sur Hugging Face sous licence MIT, l'une des plus permissives qui soient : une entreprise peut les utiliser, les modifier et les intégrer dans un produit commercial sans restriction notable. C'est un choix plus ouvert que celui de la famille Llama de Meta, dont la licence communautaire impose des conditions particulières aux très grands acteurs. Pour une PME, une start-up ou un laboratoire, cette permissivité lève un frein juridique réel.

Les effets se sont fait sentir vite. Les modèles distillés ont été téléchargés massivement, réutilisés, ajustés pour des langues et des domaines spécifiques par des communautés du monde entier. Les innovations elles-mêmes — l'équilibrage sans perte auxiliaire, la Multi-Head Latent Attention, les recettes d'entraînement FP8 — ont nourri les travaux d'autres équipes, qui les ont étudiées, reproduites et prolongées. C'est le cercle vertueux qu'espère toute stratégie ouverte : publier accélère l'ensemble du domaine, attire les talents et bénéficie en retour des améliorations de la communauté.

Cette dynamique explique en partie la réaction des marchés en janvier 2025. Quand une équipe démontre qu'un raisonnement de premier plan peut être obtenu et diffusé ouvertement, à un coût marginal réduit, c'est tout le postulat d'un avantage concurrentiel fondé sur la seule puissance de calcul qui est interrogé. La secousse boursière — la plus forte perte journalière de l'histoire pour une entreprise, ce jour-là — n'était pas une réaction au modèle en soi, mais à ce qu'il suggérait sur l'avenir de l'économie de l'IA. Avec le recul, beaucoup d'analystes ont jugé la panique excessive ; il n'en reste pas moins que la question posée était légitime, et qu'elle continue de structurer le débat.

Ce que DeepSeek change concrètement

Que retenir de cette plongée ? D'abord, que l'exploit de DeepSeek est d'ingénierie avant d'être budgétaire. Le Mixture-of-Experts découple capacité et coût de calcul ; la Multi-Head Latent Attention allège la mémoire de plus de 90 % ; l'entraînement FP8 réduit le coût du run ; la distillation démocratise le raisonnement. Chacune de ces briques est réutilisable, documentée et vérifiable — c'est précisément ce qui la rend précieuse pour la communauté.

Ensuite, que la nuance vaut mieux que le slogan. Le chiffre de 5,6 millions de dollars raconte une vraie réduction du coût marginal d'un entraînement, pas un modèle de pointe fabriqué avec un budget de start-up. Comprendre cette distinction, c'est se donner les moyens d'évaluer objectivement les annonces qui ne manqueront pas de suivre.

Enfin, que ces innovations dessinent une tendance de fond : celle de modèles toujours plus efficaces, où l'ingéniosité architecturale prend le pas sur la seule course à la taille. Pendant des années, le progrès des modèles de langage s'est largement résumé à une équation simple — plus de paramètres, plus de données, plus de calcul. DeepSeek illustre un déplacement du centre de gravité : à budget de calcul donné, l'architecture et les recettes d'entraînement font désormais une différence de premier ordre. Cette bascule est une bonne nouvelle pour l'écosystème, car elle rouvre le jeu à des équipes qui n'ont pas les moyens des plus grands.

Pour un praticien, la bonne posture n'est donc pas de choisir un camp, mais de comprendre les mécanismes — Mixture-of-Experts, attention latente, attention creuse, distillation — qui définiront la prochaine génération de modèles, quels qu'en soient les auteurs. Ces briques ne sont la propriété d'aucun laboratoire ; elles appartiennent désormais au socle commun de la discipline. Les maîtriser, c'est se donner les moyens d'évaluer chaque nouvelle annonce à sa juste mesure, de dimensionner un déploiement avec justesse, et de lire l'actualité de l'IA en acteur informé plutôt qu'en spectateur ébloui. C'est, au fond, tout l'objet de cette chronique.

Sources

Cet article s'appuie sur des sources techniques publiques et vérifiables :

• DeepSeek-AI, « DeepSeek-V3 Technical Report » — arXiv 2412.19437 (architecture MoE, MLA, FP8, coût du run).
• DeepSeek-AI, « DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning » — arXiv 2501.12948 (R1, R1-Zero, distillation, benchmarks).
• SemiAnalysis, « DeepSeek Debates: Chinese Leadership On Cost, True Training Cost » — newsletter.semianalysis.com (coût total estimé).
• VentureBeat, « Open-source DeepSeek-R1 uses pure reinforcement learning to match OpenAI o1 — at 95% less cost » — venturebeat.com.
• Bloomberg, « Nvidia's $589 Billion DeepSeek Plunge Is Largest in Market History » — bloomberg.com.
• DeepSeek API Docs, annonce DeepSeek-V4 (24 avril 2026) — api-docs.deepseek.com.
• DeepSeek-AI, poids et cartes modèles — Hugging Face.