DeepSeek V3 : des performances de pointe à coût maîtrisé

Le 26 décembre 2024, un laboratoire chinois encore peu connu du grand public publie les poids d'un très grand modèle de langage sur les dépôts ouverts. Il s'appelle DeepSeek-V3, il compte 671 milliards de paramètres, et il arrive accompagné d'un rapport technique d'une transparence inhabituelle. Ce document annonce un chiffre qui va faire le tour de la planète en quelques semaines : le run final d'entraînement aurait mobilisé 2,788 millions d'heures de calcul sur des cartes graphiques H800, soit environ 5,576 millions de dollars au tarif de location retenu par les auteurs. Face à des modèles concurrents dont l'entraînement se chiffre en dizaines, parfois en centaines de millions, l'écart interpelle. Mais réduire DeepSeek-V3 à son étiquette de prix serait passer à côté de l'essentiel. Ce jour-là, la démonstration est double : un modèle en accès ouvert peut jouer dans la cour des meilleurs systèmes fermés, et l'excellence en intelligence artificielle peut s'obtenir sans consommer des ressources illimitées. Pour comprendre l'ampleur de ce moment, il faut regarder de près ce qui a été publié, d'où venait ce laboratoire, et ce que son geste a mis en mouvement.

Ce que c'était : un géant ouvert taillé pour la sobriété

DeepSeek-V3 est un grand modèle de langage conçu par DeepSeek, un laboratoire de recherche chinois adossé au fonds d'investissement High-Flyer et fondé en 2023 par Liang Wenfeng. Sa publication, le 26 décembre 2024, prend une forme précise : les poids du modèle sont déposés en accès ouvert, sous licence permissive, et un rapport technique détaillé — soumis sur l'archive scientifique arXiv sous la référence 2412.19437 — décrit l'architecture, les choix d'entraînement et les résultats. Ce n'est pas une simple mise à disposition d'un produit ; c'est une contribution documentée que la communauté peut lire, reproduire dans ses grandes lignes et critiquer.

La première chose à saisir tient à l'échelle et à la manière dont elle est gérée. Avec ses 671 milliards de paramètres, DeepSeek-V3 se range parmi les plus grands modèles ouverts jamais publiés à cette date. Mais ce nombre colossal ne se traduit pas par une consommation proportionnelle à chaque utilisation. Le modèle repose sur une architecture dite de mélange d'experts, où seule une fraction du réseau s'active pour traiter un mot donné.

Le mélange d'experts : beaucoup de savoir, peu de calcul à la fois

Un modèle de langage classique, dit « dense », mobilise l'intégralité de ses paramètres pour produire chaque mot. Plus il est grand, plus chaque prédiction coûte cher. L'architecture de mélange d'experts — en anglais Mixture-of-Experts, souvent abrégée MoE — propose une autre voie. Le réseau y est découpé en un grand nombre de sous-réseaux spécialisés, les experts, et un mécanisme d'aiguillage choisit, pour chaque mot à traiter, un petit ensemble d'experts pertinents. Les autres restent au repos. Le modèle dispose ainsi d'une immense capacité de mémorisation et de spécialisation, sans payer cette capacité à chaque calcul.

DeepSeek-V3 illustre ce principe de façon spectaculaire. Sur ses 671 milliards de paramètres au total, seuls 37 milliards environ s'activent pour chaque mot généré. Autrement dit, le modèle raisonne comme un très grand système, mais dépense, à chaque étape, l'équivalent d'un modèle bien plus modeste. C'est ce décalage entre capacité totale et calcul effectif qui rend l'ensemble à la fois puissant et économe.

DeepSeek-V3 adopte l'attention latente multi-têtes pour une inférence efficace et l'architecture DeepSeekMoE pour un entraînement économique. Ces choix, éprouvés dans DeepSeek-V2, forment le socle de la conception.

Cette phrase, tirée du rapport technique, résume la philosophie du modèle. Deux briques structurent le système, et méritent qu'on s'y attarde, car ce sont elles qui expliquent la sobriété annoncée.

MLA : compresser la mémoire de l'attention

La première brique porte le nom d'attention latente multi-têtes, ou MLA pour Multi-head Latent Attention. Pour comprendre ce qu'elle apporte, il faut rappeler un point technique. Quand un modèle de langage produit un texte long, il conserve en mémoire une trace de chaque mot déjà lu, sous la forme de vecteurs appelés clés et valeurs. Cette mémoire, désignée par l'expression « cache clé-valeur », grossit à mesure que le texte s'allonge, et elle finit par peser lourd, tant en mémoire vive qu'en temps de calcul. C'est l'un des points de friction majeurs pour faire tourner un grand modèle sur de longs documents.

L'attention latente multi-têtes s'attaque précisément à ce point. Plutôt que de stocker l'intégralité des clés et des valeurs, elle les compresse dans un vecteur latent de dimension réduite, dont on peut reconstituer l'information utile au moment voulu. Introduite avec DeepSeek-V2 quelques mois plus tôt, cette technique avait déjà démontré une diminution très importante de la taille du cache. Résultat : le modèle traite de longues séquences de texte avec une empreinte mémoire nettement allégée, ce qui rend l'inférence — la phase d'utilisation — plus rapide et moins exigeante en matériel.

DeepSeekMoE et l'équilibrage sans perte auxiliaire

La seconde brique, DeepSeekMoE, désigne la mise en œuvre particulière du mélange d'experts propre au laboratoire. Elle repose sur un grand nombre d'experts fins, complétés par quelques experts partagés qui captent les connaissances communes à toutes les tâches. Ce découpage cherche à mieux répartir la spécialisation et à limiter la redondance entre experts.

Mais un mélange d'experts pose un problème récurrent : l'équilibrage de la charge. Si le mécanisme d'aiguillage envoie systématiquement les mots vers les mêmes experts, ceux-ci saturent tandis que d'autres restent inutilisés, et le modèle gaspille sa capacité. La solution habituelle consiste à ajouter une pénalité pendant l'entraînement, une « perte auxiliaire » qui force la répartition à s'équilibrer. Le souci, c'est que cette pénalité peut nuire à la qualité finale du modèle, en le contraignant à des choix moins pertinents pour satisfaire l'équilibre.

L'innovation principale de DeepSeek-V3 par rapport à son prédécesseur tient là : le modèle adopte une stratégie d'équilibrage de charge sans perte auxiliaire. Au lieu d'imposer une pénalité globale, le système ajuste dynamiquement un biais propre à chaque expert, de façon à répartir la charge sans dégrader l'objectif d'apprentissage. Le rapport présente cette approche comme un moyen d'obtenir un meilleur compromis entre équilibre et performance. À cela s'ajoute un objectif d'entraînement dit de prédiction multi-mots, où le modèle apprend à anticiper plusieurs mots à venir plutôt qu'un seul, ce qui densifie le signal d'apprentissage et peut accélérer la génération à l'usage.

L'entraînement en précision FP8

Le dernier ingrédient déterminant de la sobriété relève du format des nombres manipulés pendant l'entraînement. Traditionnellement, l'apprentissage d'un grand modèle s'effectue avec des nombres codés sur 16 ou 32 bits, pour préserver la précision des calculs. DeepSeek-V3 fait le pari d'un entraînement en précision mixte FP8, c'est-à-dire en s'appuyant largement sur des nombres codés sur 8 bits seulement.

L'intérêt est direct : des nombres plus courts se calculent plus vite et occupent moins de mémoire, ce qui réduit d'autant les ressources nécessaires. La difficulté, elle, est réelle : une précision plus faible risque d'introduire des erreurs qui déstabilisent l'apprentissage d'un modèle de cette taille. Le rapport détaille les précautions prises pour maîtriser ce risque, à travers un cadre d'entraînement soigneusement conçu et une gestion fine des passages critiques. Les auteurs soulignent d'ailleurs un point remarquable : l'entraînement s'est déroulé sans instabilité majeure. Selon leurs mots, ils n'ont connu aucune envolée irrécupérable de la fonction de perte, ni eu besoin de revenir en arrière sur une étape d'apprentissage — un signe de robustesse du procédé, rarement mis en avant avec autant de franchise.

Les chiffres clés de l'entraînement

Rassemblons les données publiées, car ce sont elles qui ont retenu l'attention du monde entier. Le modèle a été pré-entraîné sur 14,8 trillions de mots-tokens, un corpus immense et varié, majoritairement en anglais et en chinois. Le rapport décompose ensuite le coût de calcul avec une précision inhabituelle :

• Chaque trillion de mots pré-entraînés ne demandait qu'environ 180 000 heures de calcul H800.
• La phase de pré-entraînement complète a coûté 2,664 millions d'heures de calcul, achevée en moins de deux mois.
• L'extension du contexte a ajouté 119 000 heures, et l'affinage post-entraînement 5 000 heures.
• Au total, 2,788 millions d'heures de calcul H800, soit 5,576 millions de dollars au tarif retenu de 2 dollars l'heure de calcul.

Ces chiffres tracent une frontière nette dans les esprits. Un modèle du niveau des meilleurs, entraîné pour un montant qui, dans l'industrie, relève parfois du budget d'une expérience secondaire. L'écart n'est pas incrémental ; il est d'un autre ordre de grandeur. Reste à lire ce chiffre avec la justesse qu'il mérite, et le rapport lui-même invite à cette prudence.

Un corpus vaste et une fenêtre de contexte étendue

Derrière l'efficacité du calcul se trouve aussi un travail sur la matière d'apprentissage. Les 14,8 trillions de mots-tokens qui ont servi au pré-entraînement forment un corpus d'une ampleur considérable, décrit par les auteurs comme divers et de haute qualité, avec une place notable accordée au chinois et à l'anglais, ainsi qu'à une proportion renforcée d'exemples de mathématiques et de programmation. Ce dernier point n'est pas anodin : une bonne représentation du code et du raisonnement mathématique dans les données d'entraînement contribue directement aux aptitudes du modèle sur ces terrains, où DeepSeek-V3 s'est distingué. La composition d'un corpus est l'un des leviers les moins visibles mais les plus déterminants de la qualité finale.

Le modèle a par ailleurs été conçu pour traiter de longs documents. Après le pré-entraînement, une phase dédiée a étendu la longueur de contexte gérée, c'est-à-dire la quantité de texte que le modèle peut prendre en compte d'un seul tenant. Cette extension, qui compte pour 119 000 heures de calcul dans le décompte publié, porte la fenêtre de contexte à un ordre de grandeur qui autorise l'analyse de documents entiers, de longues conversations ou de bases de code volumineuses. C'est ici que l'attention latente multi-têtes prend tout son sens : sans la compression du cache qu'elle permet, traiter d'aussi longues séquences resterait bien plus exigeant en mémoire.

Un dernier détail de méthode mérite d'être signalé, car il illustre l'ingéniosité d'ensemble. Pour affiner ses capacités de raisonnement, DeepSeek-V3 a bénéficié, selon son rapport technique, d'un procédé de distillation à partir de modèles de raisonnement internes au laboratoire, dont les manières de résoudre pas à pas ont été transférées vers le modèle généraliste. Cette circulation des savoir-faire entre modèles d'une même famille est devenue une pratique courante ; elle permet de faire remonter dans un système polyvalent des compétences développées par un système spécialisé, sans repartir de zéro.

Ce que le coût annoncé recouvre — et ce qu'il ne recouvre pas

L'honnêteté commande de préciser un point que les auteurs eux-mêmes ont explicitement posé. Le montant de 5,576 millions de dollars correspond au seul run d'entraînement officiel du modèle final. Il n'inclut pas, écrivent-ils, les coûts associés aux recherches préalables ni aux expériences d'ablation sur les architectures, les algorithmes ou les données. Or ces travaux préparatoires — essais de configurations, réglages, itérations abandonnées — constituent une part considérable de l'effort réel de mise au point d'un grand modèle.

Les coûts indiqués n'englobent que l'entraînement officiel de DeepSeek-V3, à l'exclusion des dépenses liées aux recherches antérieures et aux expériences d'ablation sur les architectures, les algorithmes ou les données.

Cette clause, présente noir sur blanc dans le rapport, change la lecture du chiffre. Le montant n'est pas le coût total de fabrication du modèle, ni celui de l'infrastructure de calcul, ni celui des salaires des chercheurs, ni celui de l'électricité au-delà du run. C'est le coût marginal d'un entraînement final, une fois toutes les décisions prises. On peut d'ailleurs raisonnablement penser que le budget global mobilisé, en intégrant recherche et matériel, se situe bien au-dessus de ce montant affiché. Retenir 5,576 millions comme le « prix du modèle » serait donc inexact. Le chiffre reste néanmoins significatif : même en le replaçant dans un budget plus large, l'efficacité du procédé demeure frappante, et c'est cette efficacité, plus que le montant lui-même, qui constitue la vraie nouvelle.

Un niveau de performance proche des meilleurs

Reste la question qui décide de tout : ce modèle sobre est-il seulement bon ? Le rapport et les premières évaluations convergent vers une réponse affirmative. Sur une large batterie de tests standards — compréhension, mathématiques, code, connaissances générales — DeepSeek-V3 se hisse au sommet des modèles ouverts, devançant les autres systèmes en poids ouverts de sa génération. Plus notable encore, il atteint un niveau comparable à celui des meilleurs modèles fermés du moment, ceux que l'on accède habituellement uniquement par une interface payante sans possibilité d'inspecter les poids. Le rapport le formule sobrement : le modèle dépasse les autres systèmes ouverts et parvient à des performances comparables aux principaux modèles fermés. Cette parité, pour un modèle librement téléchargeable, constitue le second choc, après celui du coût.

Le contexte : une course à l'efficacité amorcée dès DeepSeek-V2

DeepSeek-V3 n'est pas sorti de nulle part. Il s'inscrit dans une trajectoire cohérente, celle d'un laboratoire qui, dès ses premières publications, a fait de l'efficacité sa signature. Pour saisir pourquoi décembre 2024 a compté, il faut remonter de quelques mois et regarder l'état du paysage.

DeepSeek-V2, la répétition générale de mai 2024

En mai 2024, le laboratoire publie DeepSeek-V2, un modèle de mélange d'experts de 236 milliards de paramètres, dont 21 milliards s'activent par mot. Le titre même de son rapport technique annonce le programme : un modèle de langage à mélange d'experts « fort, économique et efficace ». C'est avec cette version que les deux briques centrales apparaissent publiquement — l'attention latente multi-têtes et l'architecture DeepSeekMoE. Le laboratoire y revendique des gains concrets : par rapport à un modèle dense antérieur de la maison, DeepSeek-V2 réduisait fortement les coûts d'entraînement, comprimait massivement le cache clé-valeur et multipliait le débit de génération.

DeepSeek-V2 a donc joué le rôle de répétition générale. Il a validé, à une échelle déjà considérable, l'idée directrice : on peut construire un modèle compétitif en dépensant beaucoup moins, à condition de repenser l'architecture pour ne calculer que ce qui est nécessaire. DeepSeek-V3 reprend ce socle éprouvé et le pousse plus loin, en triplant presque la taille totale tout en conservant une activation modérée par mot, et en ajoutant l'équilibrage sans perte auxiliaire ainsi que l'entraînement en FP8.

Le paysage de fin 2024 : la puissance contre l'ingéniosité

Pour comprendre l'onde provoquée par DeepSeek-V3, il faut se souvenir du récit dominant de l'époque. Fin 2024, l'idée largement répandue voulait que le progrès des grands modèles passe d'abord par l'accumulation : plus de cartes graphiques, plus de données, plus de dépenses. Les laboratoires les mieux dotés annonçaient des budgets d'entraînement en forte hausse, et l'accès aux puces les plus performantes semblait la condition première pour rester dans la course. Dans ce cadre, un très grand modèle de premier plan supposait des moyens que peu d'acteurs pouvaient réunir.

Un détail matériel accentue le contraste. Les cartes H800 utilisées par DeepSeek sont une version bridée, destinée au marché chinois, des accélérateurs graphiques les plus performants de l'époque, avec des débits de communication réduits par rapport aux modèles vendus ailleurs. Autrement dit, le laboratoire a obtenu ses résultats non pas avec le matériel le plus rapide disponible dans le monde, mais avec une version volontairement limitée. Cette contrainte a rendu l'ingénierie d'autant plus remarquable : une bonne part des optimisations décrites dans le rapport — recouvrement des calculs et des communications, gestion fine de la mémoire — vise précisément à tirer le meilleur d'un matériel entravé.

La leçon n'était pas qu'il faut moins de puissance, mais que l'ingéniosité architecturale déplace le curseur. À contrainte matérielle donnée, une conception soignée obtient davantage.

Une contribution ouverte dans un paysage qui se fermait

Le contexte comporte une dernière dimension, culturelle celle-là. Au fil de 2023 et 2024, plusieurs des systèmes les plus avancés étaient devenus des produits fermés, accessibles seulement par interface, sans que la communauté puisse en examiner les rouages. Les modèles à poids ouverts existaient et progressaient, mais l'écart de performance avec les meilleurs systèmes fermés restait perceptible. Publier un modèle à la fois ouvert, très grand et proche du sommet allait à rebours de cette tendance au repli. DeepSeek rendait consultables les poids et documentait sa méthode, offrant à quiconque la possibilité de faire tourner, d'étudier et d'adapter un système de tout premier plan. C'est cette conjonction — ouverture, échelle, performance et sobriété — qui a donné à l'événement sa résonance.

Ce que ça change : l'excellence n'est plus réservée aux plus gros budgets

Un modèle publié, aussi impressionnant soit-il, ne transforme rien par sa seule existence. Ce qui pourrait faire de DeepSeek-V3 un tournant, c'est la manière dont il vient déplacer, dès sa parution, plusieurs croyances installées de l'industrie.

La démonstration qu'un modèle ouvert peut rivaliser au sommet

Le premier changement est le plus tangible. Avant DeepSeek-V3, un praticien qui voulait la meilleure qualité possible se tournait le plus souvent vers un service fermé, en acceptant de ne pas maîtriser le modèle sous-jacent, de dépendre d'une interface distante et d'une tarification externe. Avec un modèle ouvert au niveau des meilleurs, une autre option devient crédible : télécharger les poids, faire tourner le système sur sa propre infrastructure, l'adapter à ses besoins, en garder le contrôle. Pour les organisations soucieuses de confidentialité, de souveraineté sur leurs données ou d'indépendance vis-à-vis d'un fournisseur unique, cette possibilité change la donne.

Il faut mesurer cette bascule sans l'exagérer. Faire tourner un modèle de 671 milliards de paramètres demande une infrastructure de calcul conséquente, hors de portée d'un simple ordinateur personnel. L'accès ouvert ne signifie donc pas que chacun peut, chez soi, exécuter le modèle complet. Mais pour un laboratoire, une entreprise ou un fournisseur d'hébergement disposant des moyens matériels adéquats, la voie est désormais dégagée. Et l'on peut s'attendre à ce que des services tiers s'emparent du modèle pour le proposer, ce qui élargirait encore l'accès à la performance de pointe.

Une pression nouvelle sur la structure des coûts

Le deuxième changement touche à l'économie du secteur. En rendant public un procédé d'entraînement remarquablement sobre, DeepSeek-V3 montre que la frontière de la performance peut être approchée avec des budgets bien inférieurs à ce que l'on supposait nécessaire. Ce constat pourrait peser sur les tarifs. Un modèle ouvert et efficace, que des fournisseurs peuvent héberger à moindre coût, exerce une force de rappel sur le prix des services équivalents. La logique est simple : quand une capacité proche du sommet devient disponible librement et s'exécute à faible coût, il devient difficile de facturer très cher un service comparable.

La vraie nouvelle n'est pas un chiffre unique, mais un signal : l'efficacité vient de gagner une place au premier rang des critères de conception, aux côtés de la seule performance brute.

Ce déplacement du curseur vers l'efficacité a une portée qui dépasse un modèle particulier. Il suggère que la trajectoire de l'intelligence artificielle ne se réduit pas à une escalade de moyens, et que l'ingéniosité — dans l'architecture, dans la gestion de la mémoire, dans le format des calculs — reste un levier de premier plan. Pour une communauté qui craint de voir la recherche de pointe se concentrer entre quelques mains disposant de ressources considérables, c'est un message porteur d'ouverture.

Une transparence méthodologique qui profite à tous

Le troisième apport est plus discret, mais durable. En documentant avec précision ses choix — l'équilibrage sans perte auxiliaire, l'entraînement en FP8, les stratégies de recouvrement calcul-communication —, le rapport technique de DeepSeek-V3 nourrit le savoir collectif. D'autres équipes pourront s'inspirer de ces techniques, les tester, les prolonger. Une avancée décrite ouvertement se diffuse, se discute et s'améliore, là où une méthode gardée secrète reste confinée. Cette contribution au bien commun de la recherche compte autant, à long terme, que le modèle lui-même.

Date	Jalon	Portée
Juillet 2023	Fondation de DeepSeek (Liang Wenfeng, fonds High-Flyer)	Naissance d'un laboratoire orienté recherche fondamentale.
Mai 2024	DeepSeek-V2 (236 milliards de paramètres, 21 actifs)	Débuts publics de MLA et DeepSeekMoE ; cap de l'efficacité.
26 décembre 2024	DeepSeek-V3 (671 milliards, 37 actifs, 14,8 trillions de tokens)	Modèle ouvert au niveau des meilleurs ; run à ~5,576 M$.
27 décembre 2024	Dépôt du rapport technique sur arXiv (2412.19437)	Méthode et coûts documentés ouvertement.

Les perspectives : ce que la publication de V3 pourrait mettre en mouvement

Au moment où ces lignes s'écrivent, la publication du 26 décembre 2024 est toute récente, et il serait présomptueux d'en tirer un bilan définitif. On peut néanmoins, à la lecture du rapport et de l'accueil immédiat qu'il reçoit, esquisser les prolongements que ce geste pourrait connaître. Trois pistes, surtout, se dessinent avec assez de netteté pour mériter qu'on s'y arrête, sans oublier qu'il s'agit d'hypothèses et non de certitudes.

Une lignée qui pourrait se prolonger vers le raisonnement

La première piste tient à la trajectoire même du laboratoire. DeepSeek a construit V3 sur les fondations de V2, en conservant l'architecture de mélange d'experts et en poussant plus loin l'efficacité. Rien n'interdit de penser que la maison continuera d'explorer cette voie, et le rapport technique en laisse deviner une direction : les auteurs mentionnent le recours, pour affiner V3, à des modèles de raisonnement internes. On pourrait donc imaginer que le laboratoire cherche à décliner son socle vers des systèmes spécialisés dans le raisonnement pas à pas — décomposer les problèmes, réfléchir avant de répondre, exceller en logique, en mathématiques et en code. Si une telle déclinaison voyait le jour, elle bénéficierait naturellement de l'efficacité éprouvée sur V3, et pourrait, en cas de diffusion sous licence permissive, se répandre largement au-delà de son laboratoire d'origine. Ce ne sont là que des conjectures, mais elles s'appuient sur une logique de continuité déjà lisible dans le parcours de l'équipe.

Cette perspective mérite d'être formulée avec prudence. Un modèle généraliste comme V3 et un éventuel modèle de raisonnement répondraient à des besoins distincts, et rien ne garantit qu'un tel prolongement suive immédiatement. Ce qui semble en revanche acquis, c'est que le socle technique — activation parcimonieuse, cache compressé, entraînement sobre — offre un point de départ solide pour qui voudrait bâtir la génération suivante, chez DeepSeek comme ailleurs.

Une pression possible sur l'économie du secteur

La deuxième piste concerne les marchés et l'économie de l'intelligence artificielle. En rendant public un procédé d'entraînement aussi sobre, DeepSeek-V3 pose une question que les acteurs du secteur auront du mal à ignorer : si un modèle de premier plan peut s'approcher du sommet avec une fraction du calcul supposé indispensable, sur un matériel volontairement bridé, alors les anticipations sur la demande en puces les plus avancées pourraient être réexaminées. On peut supposer que les analystes et les investisseurs intégreront progressivement cette variable dans leurs projections, et que la structure des prix des services équivalents subira, à terme, une forme de rappel.

Il faut se garder ici de toute prédiction chiffrée. L'histoire récente de l'intelligence artificielle a montré combien les extrapolations hâtives se révèlent fragiles. Ce qui paraît raisonnable d'avancer, c'est que l'efficacité algorithmique s'affirme désormais comme un facteur qui compte autant que la force de frappe matérielle. Les besoins en calcul de l'inférence à grande échelle et des générations futures resteront vraisemblablement considérables ; mais l'idée qu'à performance donnée la quantité de calcul nécessaire puisse baisser fortement grâce à l'architecture est un signal que le marché pourrait bien finir par intégrer.

Si cette lecture se vérifie, l'efficacité deviendra une donnée stratégique à part entière : à performance donnée, la quantité de calcul nécessaire peut baisser fortement grâce à l'architecture.

Un débat sur les coûts qui appelle déjà la nuance

La troisième piste, plus immédiate, tient au débat que le chiffre de 5,576 millions de dollars ne manquera pas de susciter. Largement commenté dès sa publication, ce montant risque d'être lu comme « le coût » du modèle, alors qu'il ne concerne, on l'a vu, que le run final et laisse de côté la recherche, les essais et l'infrastructure. On peut anticiper que des estimations indépendantes proposeront des fourchettes plus larges pour le coût global, en tenant compte de l'ensemble du parc matériel et des travaux préparatoires. Ce débat, s'il s'installe, aurait un mérite : apprendre à un public élargi à lire les annonces de coût avec discernement, à distinguer le coût marginal d'un entraînement du coût total de mise au point, et à se méfier des raccourcis. C'est une forme de maturité collective que l'épisode pourrait contribuer à faire progresser.

Ce que l'on peut avancer sans se risquer

Au-delà des conjectures, quelques enseignements de décembre 2024 semblent déjà solides. Le premier tient à la vitalité des modèles ouverts : loin de rester à la traîne, ils viennent de démontrer, avec V3, leur capacité à se rapprocher des meilleurs systèmes fermés sur de nombreuses tâches, et l'on peut penser que ce mouvement se poursuivra. Le deuxième concerne l'efficacité comme axe de recherche à part entière : l'idée qu'il faille systématiquement « plus » pour faire « mieux » se voit sérieusement questionnée, au profit d'une attention portée au rapport entre performance et ressources. Le troisième touche à la géographie de l'innovation : la démonstration qu'un laboratoire opérant sous contraintes matérielles peut contribuer au premier plan élargit, dès aujourd'hui, la carte des acteurs qui comptent.

Il convient toutefois de garder la mesure, comme le rapport lui-même y invite. DeepSeek-V3 ne rend pas le calcul superflu — entraîner et faire tourner de tels modèles demeure exigeant. Il n'efface pas non plus les questions ouvertes qui accompagnent tous les grands modèles de langage : la fiabilité des réponses, la qualité et la provenance des données d'entraînement, les usages responsables, la vérification des faits produits. Le modèle est « à poids ouverts », ce qui signifie que ses paramètres sont partagés, mais non l'intégralité des données ayant servi à l'entraîner — une nuance importante quand on parle d'ouverture. Ces chantiers restent d'actualité, et DeepSeek-V3 s'y confronte comme les autres.

Une leçon de méthode pour l'IA sous contrainte

Au-delà de son cas particulier, DeepSeek-V3 est souvent cité comme un exemple de ce que l'ingénierie peut accomplir face à des limites. Plusieurs ingrédients de sa réussite se retrouvent ailleurs et méritent d'être retenus. D'abord, une architecture qui n'active que le calcul utile, plutôt que de mobiliser l'ensemble du réseau à chaque étape. Ensuite, une gestion fine de la mémoire, avec la compression du cache de l'attention, pour repousser le point de friction des longues séquences. Enfin, un travail patient sur le format des nombres et sur le recouvrement des calculs et des échanges, pour extraire le maximum d'un matériel donné.

Cette combinaison — activation parcimonieuse, mémoire compressée, calcul optimisé — a de quoi inspirer d'autres travaux, chez d'autres équipes, sur d'autres modèles. Elle rappelle que le progrès en intelligence artificielle ne se joue pas seulement dans la course aux ressources, mais aussi, et peut-être surtout, dans la finesse de la conception. C'est sans doute la raison la plus durable pour laquelle le 26 décembre 2024 pourrait rester dans les mémoires : ce jour-là, un laboratoire a montré qu'un très grand modèle, ouvert et proche du sommet, pouvait naître d'une exigence de sobriété autant que de puissance — et que l'excellence, en intelligence artificielle, gagne à rester économe. Pour une communauté attentive au partage du savoir et à la diversité des acteurs, c'est une bonne nouvelle, dont il faudra suivre les prolongements dans les mois à venir.

Sources

• DeepSeek-AI — DeepSeek-V3 Technical Report (arXiv:2412.19437, dépôt du 27 décembre 2024 ; 671 milliards de paramètres, 37 milliards actifs, 14,8 trillions de tokens, MLA, DeepSeekMoE, entraînement FP8)
• DeepSeek-V3 Technical Report (version HTML) — décomposition du coût : 2,788 M d'heures H800 ≈ 5,576 M$ ; exclusion explicite des recherches et ablations préalables
• DeepSeek-AI — DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (mai 2024 ; 236 milliards de paramètres, 21 actifs ; introduction de MLA et DeepSeekMoE)
• DeepSeek-AI — Dépôt officiel DeepSeek-V3 (décembre 2024 ; poids en accès ouvert, licence, guide d'exécution locale)
• DeepSeek — présentation générale (fondation en 2023 par Liang Wenfeng, fonds High-Flyer ; modèles à poids ouverts ; jalons de V2 et V3)