DeepSeek V2 lance la course à l'efficacité de l'inférence

Le 7 mai 2024, un laboratoire chinois encore peu connu du grand public publie sur arXiv un article au titre volontairement sobre : « DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model ». Trois adjectifs, dont deux — économique et efficient — annoncent la couleur. Là où la course aux grands modèles se mesurait jusqu'alors surtout en milliards de paramètres et en puissance de calcul, DeepSeek propose de déplacer le curseur : et si le vrai terrain de jeu devenait le coût par jeton, le débit d'inférence, la mémoire consommée à chaque requête ? Ce jour-là, avec un modèle de 236 milliards de paramètres mais seulement 21 milliards activés à la fois, et une innovation d'attention baptisée Multi-head Latent Attention, la course à l'efficacité de l'inférence trouvait son détonateur.

Pour la chronique « Le Paper du lundi », DeepSeek-V2 est un cas d'école. C'est l'un de ces articles qui, sous une couche de notation dense, cachent une idée simple et puissante — ici, la conviction qu'un modèle de qualité n'a pas besoin d'être hors de prix à l'usage. Nous allons remonter le fil : ce que DeepSeek-V2 est exactement à sa parution, le paysage technique qui l'a vu naître, ce que sa publication bouscule déjà, et enfin les perspectives qu'un tel article laisse entrevoir pour la suite de la recherche sur l'efficacité de l'inférence.

Ce que c'était : un modèle taillé pour l'efficacité

Commençons par les faits, tels que l'article les pose. DeepSeek-V2 est un modèle de langage de type Mixture-of-Experts (mélange d'experts) totalisant 236 milliards de paramètres, dont seulement 21 milliards sont activés pour chaque jeton traité. Il a été pré-entraîné sur un corpus de 8 100 milliards de jetons et prend en charge une fenêtre de contexte de 128 000 jetons, soit l'équivalent d'un livre entier tenu en mémoire au fil d'une conversation.

Deux briques architecturales portent la promesse d'efficacité affichée dans le titre. La première, DeepSeekMoE, organise le réseau en experts spécialisés que l'on active parcimonieusement. La seconde, la Multi-head Latent Attention, s'attaque à un poste de coût rarement mis en avant à l'époque : la mémoire du mécanisme d'attention. C'est cette seconde idée qui fait de DeepSeek-V2 un jalon, et nous y consacrerons sa propre section.

Les chiffres de gain avancés dans l'article sont précis, et c'est ce qui rend l'annonce marquante. Comparé à DeepSeek 67B, le modèle dense de la génération précédente issu du même laboratoire, DeepSeek-V2 :

• réduit le cache clés-valeurs de 93,3 %, l'empreinte mémoire la plus lourde en inférence longue ;
• diminue le coût d'entraînement de 42,5 % à performances supérieures ;
• multiplie le débit maximal de génération par 5,76.

Autrement dit, un modèle à la fois plus grand en capacité totale, plus léger à l'usage, et nettement plus rapide à produire du texte. L'article revendique pour DeepSeek-V2 une place « au sommet parmi les modèles ouverts » de son époque, tout en n'activant que 21 des 236 milliards de paramètres à chaque étape de calcul. Ce découplage entre la taille du réservoir de connaissances et le coût effectif de chaque réponse est le cœur du propos.

« MLA garantit une inférence efficace en compressant significativement le cache clés-valeurs dans un vecteur latent. » — Résumé de l'article DeepSeek-V2, arXiv 2405.04434.

Un détail de forme mérite d'être noté, car il en dit long sur la démarche : dès la parution, DeepSeek accompagne l'article de la publication des poids du modèle sur Hugging Face et d'un dépôt de code sur GitHub, sous une licence permissive pour l'usage en entreprise. La lecture de l'article n'est donc pas un exercice purement contemplatif — chacun peut reproduire, tester, mesurer. Pour une chronique dédiée aux travaux de recherche, c'est la condition idéale : les affirmations sont vérifiables.

Le contexte : où en était l'IA au printemps 2024

Pour saisir pourquoi DeepSeek-V2 a résonné, il faut se replacer au printemps 2024. Depuis la déferlante des grands modèles de langage, une logique dominait : la performance semblait suivre l'échelle. Plus de paramètres, plus de données, plus de calcul — et de meilleurs résultats. Cette « loi d'échelle » avait un revers : les modèles les plus capables devenaient aussi les plus coûteux à faire tourner, et donc à mettre entre les mains des utilisateurs. Le coût d'inférence, c'est-à-dire le prix de chaque réponse générée une fois le modèle entraîné, grimpait avec la taille des réseaux denses, où l'intégralité des paramètres travaille à chaque jeton.

Ce coût prenait deux formes distinctes qu'il est utile de séparer. Le coût d'entraînement, d'abord, payé une seule fois pour construire le modèle : il se mesure en heures de calcul sur de vastes fermes de processeurs graphiques. Le coût d'inférence, ensuite, payé à chaque utilisation, pour chaque réponse fournie à chaque requête : c'est lui qui, additionné sur des millions d'interactions, détermine le prix réel d'un service et sa viabilité économique. Un modèle peut être entraîné une fois à grands frais et servi des milliards de fois ; à long terme, c'est l'inférence qui pèse le plus dans la balance. Or l'attention publique restait alors largement focalisée sur la puissance brute et les scores de tests, laissant l'efficacité d'inférence dans l'angle mort. DeepSeek-V2 va braquer le projecteur sur ce poste précis.

Le retour en grâce du mélange d'experts

Une piste connue promettait de casser cette équation : le Mixture-of-Experts. L'idée remonte aux travaux de Robert Jacobs et Michael Jordan au début des années 1990. Plutôt qu'un unique réseau monolithique traitant tout, on assemble plusieurs sous-réseaux spécialisés — les « experts » — et un routeur choisit, pour chaque jeton, lesquels solliciter. Le modèle dispose ainsi d'une vaste capacité totale, mais n'en mobilise qu'une fraction à chaque calcul.

Quelques mois avant DeepSeek-V2, cette approche avait connu une démonstration remarquée. En décembre 2023, la société française Mistral AI publiait Mixtral 8x7B, un modèle à experts en poids ouverts sous licence Apache 2.0. Mixtral totalisait 46,7 milliards de paramètres mais n'en activait qu'environ 12,9 milliards par jeton, en sélectionnant deux experts sur huit à chaque couche. Ses résultats égalaient ou dépassaient ceux de modèles denses bien plus lourds, à une fraction du calcul. Mixtral a servi de preuve publique et convaincante : le mélange d'experts n'était plus une curiosité de laboratoire, mais une voie viable pour bâtir des modèles capables et sobres.

DeepSeek-V2 s'inscrit dans ce sillage, tout en poussant le curseur plus loin sur l'échelle — de la dizaine de milliards de paramètres actifs de Mixtral aux 21 milliards actifs sur 236 milliards totaux. Mais le laboratoire ne se contente pas de reproduire la recette du mélange d'experts. Il ajoute sa contribution propre, là où on l'attendait moins : sur le mécanisme d'attention.

DeepSeek, un acteur venu de la finance quantitative

Le laboratoire lui-même intriguait. DeepSeek est né en 2023 comme entité de recherche adossée à High-Flyer, un fonds d'investissement quantitatif fondé à Hangzhou par Liang Wenfeng. Ce fonds avait accumulé, dès avant la vague des grands modèles, une solide expertise dans le traitement massif de données et une infrastructure de calcul conséquente. Cette filiation explique en partie la sensibilité du laboratoire aux questions de coût et d'efficacité : dans le trading quantitatif, la performance par unité de ressource est une obsession quotidienne. DeepSeek arrivait donc avec une culture de l'optimisation, appliquée cette fois à l'entraînement et au service des modèles de langage.

Au printemps 2024, la scène des grands modèles était largement dominée, dans l'imaginaire public, par une poignée d'acteurs occidentaux. Voir un laboratoire chinois publier un article aussi soigné, accompagné de poids ouverts et de gains chiffrés vérifiables, participait à un rééquilibrage discret mais réel de la carte de la recherche. DeepSeek-V2 n'était pas qu'un modèle : c'était aussi le signe qu'une contribution de premier plan pouvait désormais venir d'horizons plus variés.

Comprendre la Multi-head Latent Attention

Venons-en au cœur de l'article, l'idée qui justifie à elle seule qu'on s'y arrête : la Multi-head Latent Attention, ou MLA. Pour l'expliquer clairement, il faut d'abord comprendre le problème qu'elle résout.

Le problème : le cache clés-valeurs

Les grands modèles de langage reposent sur le mécanisme d'attention. À chaque nouveau jeton généré, le modèle « regarde en arrière » tous les jetons précédents pour décider de la suite. Pour éviter de tout recalculer à chaque étape, on conserve en mémoire, pour chaque jeton déjà vu, deux vecteurs : une clé et une valeur. C'est ce qu'on appelle le cache clés-valeurs, ou cache KV.

Ce cache a un défaut de croissance. Plus la conversation s'allonge, plus il enfle — proportionnellement au nombre de jetons, au nombre de couches et au nombre de têtes d'attention. Sur des contextes longs, il finit par occuper l'essentiel de la mémoire vive du processeur graphique, davantage encore que les poids du modèle. C'est un plafond bien concret : il limite le nombre de requêtes traitées en parallèle, la longueur des contextes possibles, et donc, au bout de la chaîne, le coût de chaque réponse. Réduire ce cache, c'est réduire directement la facture d'inférence.

Les réponses existantes, et leur compromis

La communauté avait déjà des parades. La plus répandue, l'attention à requêtes groupées (Grouped-Query Attention), consiste à faire partager une même clé et une même valeur par plusieurs têtes d'attention, ce qui réduit d'autant la mémoire à stocker. Une variante extrême, l'attention à requête unique (Multi-Query Attention), pousse le partage au maximum. Ces techniques allègent le cache, mais au prix d'une concession : en mutualisant les clés et valeurs, on appauvrit un peu la richesse du mécanisme d'attention, et donc la qualité du modèle. Le praticien devait arbitrer entre mémoire et performance.

L'astuce de MLA : compresser sans renoncer

La Multi-head Latent Attention propose une troisième voie. Plutôt que de partager des clés et valeurs entre têtes, elle les compresse conjointement dans un vecteur intermédiaire de dimension réduite — un vecteur latent. En pratique, le modèle apprend une projection qui condense l'information clés-valeurs de chaque jeton en une représentation compacte, et une seconde projection qui la « déplie » au moment de calculer l'attention. Ce n'est donc pas le cache complet que l'on garde en mémoire, mais uniquement ce vecteur latent, bien plus léger.

Une image aide à saisir l'intuition. Imaginons que, pour chaque page lue, vous deviez conserver non pas la page entière, mais un résumé dense de quelques lignes, suffisant pour retrouver l'essentiel au besoin. Vous stockez le résumé ; quand vous avez besoin du détail, vous le reconstituez à partir de ce résumé. La MLA fait exactement cela avec l'information d'attention : elle garde une forme compressée, qu'elle reconstruit au vol lors du calcul. La compression étant apprise en même temps que le reste du modèle, elle retient ce qui compte vraiment.

Le résultat chiffré est spectaculaire : une diminution du cache clés-valeurs de 93,3 % par rapport à l'attention classique de DeepSeek 67B. Et, contrairement aux parades par partage, l'article rapporte que la MLA parvient à ce gain tout en préservant, voire en améliorant, la qualité par rapport à l'attention multi-têtes standard. C'est là toute la finesse : on ne troque plus la performance contre la mémoire, on obtient les deux. C'est cette conjonction rare — moins de mémoire et une qualité maintenue — qui a retenu l'attention des équipes techniques.

La MLA ne cache pas moins d'information : elle la range mieux. Le cache clés-valeurs n'est plus un entrepôt encombré, mais une archive compressée que le modèle sait relire à la volée.

Un raffinement mérite d'être signalé pour les lecteurs les plus techniques. L'attention moderne repose sur un encodage positionnel dit « rotatif » (RoPE), qui pose une difficulté lorsqu'on compresse les clés. DeepSeek résout ce point en séparant la représentation en deux parties : une portion compressée qui porte le contenu, et une petite portion « découplée » qui porte l'information de position. Cette ingéniosité permet à la compression et à l'encodage positionnel de cohabiter sans se gêner. C'est le genre de détail d'ingénierie qui distingue une bonne idée d'une idée réellement exploitable.

L'autre pilier : DeepSeekMoE, un mélange d'experts affiné

La MLA règle la question de la mémoire d'attention. Reste l'autre moitié de la promesse d'efficacité : comment obtenir une vaste capacité sans payer, à chaque jeton, le calcul d'un modèle géant ? C'est le rôle de la seconde brique, DeepSeekMoE, la déclinaison maison du mélange d'experts.

Experts partagés et experts routés

Dans un mélange d'experts classique, chaque couche compte un ensemble d'experts, et un routeur en sélectionne quelques-uns par jeton. DeepSeek raffine cette mécanique selon deux axes. D'abord, la granularité fine : plutôt que quelques gros experts, le modèle en aligne un grand nombre de plus petits, ce qui multiplie les combinaisons possibles et permet une spécialisation plus poussée. Ensuite, la distinction entre deux familles d'experts :

• les experts partagés, toujours actifs, qui apprennent les connaissances communes à toutes les entrées et forment un socle stable ;
• les experts routés, activés sélectivement par le routeur selon le jeton traité, qui se spécialisent chacun sur des motifs particuliers.

Cette organisation évite une redondance coûteuse : sans expert partagé, chaque expert routé devrait réapprendre les mêmes bases générales, gaspillant de la capacité. En isolant le tronc commun dans les experts partagés, DeepSeek laisse les experts routés se consacrer à ce qui les distingue. Le résultat est un modèle où 236 milliards de paramètres de capacité totale se paient, à l'inférence, au prix de seulement 21 milliards activés — soit moins de 10 % du réseau mobilisé à chaque étape.

Le défi de l'équilibrage

Tout système à experts affronte un écueil bien connu : l'équilibrage de charge. Si le routeur prend l'habitude d'envoyer la majorité des jetons vers une poignée d'experts, ceux-ci saturent tandis que les autres restent inexploités. Le modèle se comporte alors comme s'il disposait de beaucoup moins d'experts qu'il n'en compte réellement, et une part de sa capacité dort. Ce phénomène est l'une des principales raisons qui avaient longtemps freiné l'adoption du mélange d'experts à grande échelle.

DeepSeek-V2 traite ce point avec un jeu de mécanismes d'équilibrage qui encouragent le routeur à répartir la charge entre tous les experts, sans dégrader excessivement l'apprentissage de la tâche principale. La maîtrise de cet équilibre est l'une des raisons pour lesquelles l'article marque : entraîner un très grand mélange d'experts de façon stable et efficace n'a rien d'évident, et DeepSeek en apporte une démonstration soignée. C'est le genre de savoir-faire qui pourrait bien, si la démonstration se confirme, se raffiner encore dans de futures itérations.

Ce que disaient les mesures

Une architecture élégante ne vaut que si les résultats suivent. Sur ce point, l'article ne se dérobe pas : il place DeepSeek-V2 face aux meilleurs modèles ouverts de son époque — DeepSeek 67B, Qwen1.5 72B, LLaMA3 70B, Mixtral 8x22B — sur une batterie de tests standards. L'enseignement central est que le modèle de base, avec ses 21 milliards de paramètres actifs, se hisse au niveau de concurrents qui en activent, selon les modèles, de près de deux fois (39 milliards pour Mixtral 8x22B) à plus de trois fois plus (67 à 72 milliards pour les modèles denses DeepSeek 67B, LLaMA3 70B et Qwen1.5 72B).

Sur la connaissance générale mesurée par le test MMLU, DeepSeek-V2 base obtient un score de 78,5, un résultat de premier plan parmi les modèles ouverts d'alors. Sur le raisonnement (test BBH), il atteint 78,9 ; sur les problèmes mathématiques de niveau scolaire (GSM8K), 79,2. La version conversationnelle, affinée par apprentissage supervisé puis par renforcement, pousse ces chiffres plus haut encore sur les tâches guidées par instructions : 92,2 sur GSM8K et 81,1 sur la génération de code (HumanEval). Ces valeurs, publiées et reproductibles à partir des poids ouverts, ancrent l'article dans le concret.

Le point remarquable n'est pas qu'un score isolé batte un record : c'est le rapport entre performance et coût d'activation. Un modèle qui rivalise avec des concurrents de sa catégorie tout en n'activant qu'une fraction de leurs paramètres démontre, chiffres à l'appui, que la parcimonie n'est pas synonyme de médiocrité. La version conversationnelle a d'ailleurs été bien reçue sur les classements comparatifs d'assistants de l'époque, confortant l'idée qu'un modèle sobre pouvait tenir tête aux références établies. C'est exactement l'argument que le titre de l'article annonçait : fort et économique ne sont pas contradictoires.

Ce que ça a changé : la course à l'efficacité s'ouvre

Un article de recherche vaut par ses idées, mais sa portée se mesure à ses effets. Ceux de DeepSeek-V2 se font sentir vite et de deux ordres : technique et économique.

Sur le plan technique : un nouveau poste d'optimisation

DeepSeek-V2 a contribué à installer une idée qui paraît aujourd'hui évidente : le coût d'inférence est un objectif d'ingénierie à part entière, aussi digne d'attention que la performance brute sur les tests. En montrant qu'on pouvait diviser par plus de quatorze l'empreinte du cache clés-valeurs sans sacrifier la qualité, l'article a désigné un poste d'optimisation jusque-là secondaire dans le débat public. La mémoire d'attention, longtemps considérée comme un mal nécessaire, devenait un levier.

Le modèle démontrait aussi, concrètement, qu'un très grand mélange d'experts pouvait être entraîné et servi de façon maîtrisée, avec des gains chiffrés et reproductibles. Combiné à Mixtral quelques mois plus tôt, DeepSeek-V2 a solidifié la conviction que l'architecture à experts n'était pas un pari risqué, mais une voie mûre pour construire des modèles capables à coût d'usage contenu.

Sur le plan économique : la baisse des tarifs d'API

L'efficacité technique s'est traduite très vite en efficacité tarifaire. DeepSeek a proposé l'accès à son modèle via une interface de programmation (API) à un tarif qui a frappé les esprits : de l'ordre de 1 yuan (environ 0,14 dollar) par million de jetons en entrée, et le double en sortie — un tarif de lancement, au 7 mai 2024, largement relayé par la presse tech de l'époque, indicatif et depuis révisé à plusieurs reprises par DeepSeek. Rapporté aux tarifs des modèles de premier plan de l'époque, l'écart se comptait en multiples, parfois en ordres de grandeur.

Cet affichage n'était pas un geste isolé : il était rendu possible, en amont, par les gains d'efficacité de l'architecture. Un modèle qui consomme moins de mémoire et produit plus de jetons par seconde coûte moins cher à servir — la baisse de prix n'est que la répercussion visible d'une inférence plus sobre. Là réside la cohérence de DeepSeek-V2 : le titre de l'article promettait un modèle « économique et efficient », et le tarif d'API en était la conséquence logique.

La réaction du marché chinois fut immédiate. Face à ce positionnement, plusieurs grands acteurs — parmi lesquels ByteDance, Tencent, Baidu et Alibaba — ont abaissé à leur tour les tarifs de leurs propres modèles dans les semaines qui suivirent. La presse spécialisée a parlé d'une véritable compétition tarifaire sur l'inférence en Chine, déclenchée par l'arrivée de DeepSeek-V2. Pour les utilisateurs et les entreprises, l'effet était direct : construire avec des modèles de langage devenait sensiblement plus abordable.

Cette dynamique pourrait bien déborder les frontières du marché chinois. En rendant tangible qu'un modèle de qualité peut être servi à un coût très inférieur aux références occidentales, DeepSeek-V2 alimente une pression à la baisse des tarifs d'inférence qui a de bonnes chances de gagner d'autres fournisseurs. La conversation autour des grands modèles commence à intégrer, à côté des scores de performance, une variable jusque-là discrète : le prix au jeton.

Le contexte long, sans exploser la mémoire

Il y a un lien direct, et souvent sous-estimé, entre la compression du cache clés-valeurs et la fenêtre de contexte de 128 000 jetons qu'affiche DeepSeek-V2. Un contexte long — la capacité à tenir compte d'un très grand nombre de jetons antérieurs — est précieux : il permet d'analyser un document entier, de suivre une longue conversation, ou de raisonner sur un vaste corps de code. Mais il a un coût mémoire, précisément celui du cache clés-valeurs, qui croît avec la longueur du contexte. Sur une architecture classique, doubler la longueur du contexte double, en gros, la mémoire d'attention nécessaire.

C'est ici que la MLA change la donne pratique. En allégeant le cache de 93 %, elle rend le contexte long bien plus accessible : à mémoire égale, on peut traiter des séquences beaucoup plus étendues, ou davantage de requêtes simultanées sur le même matériel. Autrement dit, l'innovation d'attention ne se contente pas de réduire une facture ; elle déverrouille un usage. Le contexte de 128 000 jetons de DeepSeek-V2 n'est pas un chiffre isolé collé au modèle : il est la conséquence naturelle d'une attention qui consomme moins. Efficacité mémoire et capacité de contexte sont les deux faces d'une même pièce.

Des poids ouverts, un effet d'entraînement

Un dernier facteur a démultiplié la portée de DeepSeek-V2 : son ouverture. Les poids du modèle ont été mis à disposition sur Hugging Face, et le code publié sous licence MIT, l'une des plus permissives pour un usage professionnel. Concrètement, une entreprise pouvait télécharger le modèle, l'héberger sur sa propre infrastructure, l'adapter à ses besoins, sans dépendre exclusivement d'un service tiers.

Cette ouverture a deux vertus. Pour la vérification, d'abord : les gains annoncés dans l'article ne demandaient pas d'être crus sur parole, ils pouvaient être mesurés par quiconque. Pour la diffusion, ensuite : chaque équipe pouvant inspecter l'architecture, la MLA et le mélange d'experts affiné sont devenus des objets d'étude et de reprise, bien au-delà du laboratoire d'origine. L'ouverture transforme une avancée locale en bien commun technique — et c'est l'un des moteurs de la vitesse à laquelle ces idées se sont propagées dans l'écosystème.

Les perspectives : ce que V2 pourrait inaugurer

Au moment où paraît l'article, DeepSeek-V2 a tout d'une pierre de fondation posée pour durer. Ses deux innovations majeures — le mélange d'experts affiné et surtout la Multi-head Latent Attention — n'ont rien de trouvailles anecdotiques : ce sont des briques architecturales pensées pour être réemployées. Il est raisonnable de penser qu'elles pourraient être reprises et amplifiées dans les modèles que le laboratoire construira ensuite, comme dans ceux d'autres équipes.

La MLA, une brique faite pour durer

Tout, dans la conception de la Multi-head Latent Attention, plaide pour une réutilisation au-delà de ce seul modèle. Une architecture qui divise par plus de quatorze l'empreinte du cache clés-valeurs sans concéder de qualité n'a aucune raison de rester cantonnée à une génération unique : elle a vocation à devenir un choix par défaut pour quiconque cherchera à passer un mélange d'experts à plus grande échelle. On peut raisonnablement anticiper que de futures itérations, plus vastes en capacité totale comme en paramètres activés, conserveront ce mécanisme d'attention latente, précisément parce qu'il lève le principal verrou mémoire de l'inférence longue.

Le même raisonnement vaut pour le mélange d'experts affiné, avec sa distinction entre experts partagés et experts routés. C'est une recette d'entraînement stable et économe, exactement le genre de socle qu'un laboratoire a intérêt à reconduire une fois qu'il l'a éprouvé. Si la démonstration de V2 tient ses promesses à l'usage, ces deux piliers pourraient bien former la signature architecturale d'une lignée entière — et c'est peut-être la plus belle perspective qu'un article puisse ouvrir : voir son idée centrale non seulement adoptée, mais promise à devenir un standard.

Une diffusion possible au-delà de DeepSeek

L'influence de la MLA n'a aucune raison de s'arrêter aux portes du laboratoire. Parce que l'idée est publiée, chiffrée et accompagnée de code, elle s'offre d'emblée comme un objet d'étude et de reprise pour toute la communauté. On peut imaginer que des travaux futurs explorent des variantes de l'attention latente, des adaptations pour le calcul distribué, ou des combinaisons avec d'autres techniques d'économie mémoire. La MLA a les qualités requises pour rejoindre le catalogue des méthodes que tout ingénieur travaillant sur l'efficacité des modèles gagnerait à connaître, aux côtés de l'attention à requêtes groupées ou du mélange d'experts.

Cette diffusion potentielle illustre un principe cher à la recherche ouverte : une idée publiée en clair, vérifiable et reproductible, se propage bien plus vite qu'une prouesse gardée secrète. En choisissant de tout mettre sur la table — article, poids, code — DeepSeek se donne les moyens de maximiser la portée de sa contribution. L'efficacité de l'inférence, poste longtemps traité comme une contrainte à subir, a de bonnes chances de s'imposer comme un champ d'innovation à part entière, où chaque avancée profiterait à l'ensemble de l'écosystème.

Ce que DeepSeek-V2 nous apprend dès aujourd'hui

Au fond, la leçon de DeepSeek-V2 dépasse ses chiffres. L'article rappelle qu'une avancée décisive ne prend pas toujours la forme d'un modèle plus grand ou d'un score record. Elle peut résider dans une idée d'ingénierie bien placée — ici, ranger plus intelligemment la mémoire d'attention — qui déverrouille d'un coup le coût, la vitesse et l'accessibilité. En rendant l'inférence plus sobre, DeepSeek-V2 contribue à rendre l'IA de qualité plus abordable, pour les entreprises comme pour les développeurs indépendants.

C'est peut-être là ce qui pourrait constituer son legs le plus durable : déplacer une partie de la conversation, des seuls superlatifs de puissance vers la question, plus modeste mais décisive, de l'efficacité réelle. Combien coûte une réponse ? Combien de mémoire pour un long contexte ? Combien de requêtes en parallèle sur un même matériel ? Ces questions, DeepSeek-V2 les met au centre. Si les promesses de l'article se confirment à l'usage, il y a fort à parier que les fondations posées ce 7 mai 2024 porteront les modèles à venir bien au-delà de cette seule génération.

Pour « Le Paper du lundi », DeepSeek-V2 restera l'exemple d'un article qui prouve qu'on peut faire progresser l'IA en la rendant plus légère plutôt que seulement plus lourde. Une élégance d'ingénieur, publiée au grand jour, dont chacun peut vérifier et prolonger les promesses. C'est exactement le genre de science qu'il est réjouissant de raconter.

Sources

• DeepSeek-AI, « DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model », arXiv:2405.04434 (7 mai 2024)
• Dépôt officiel GitHub — deepseek-ai/DeepSeek-V2
• Poids du modèle — deepseek-ai/DeepSeek-V2 sur Hugging Face
• Mistral AI, « Mixtral of experts » — annonce de Mixtral 8x7B (décembre 2023)
• Fiche du modèle conversationnel — deepseek-ai/DeepSeek-V2-Chat sur Hugging Face (mai 2024)