Le 15 février 2024, Google glisse une phrase presque anodine dans son annonce : ses modèles peuvent désormais traiter « jusqu'à un million de tokens de manière constante ». Derrière la formule se cache l'une des ruptures les plus concrètes de l'année en intelligence artificielle. Avec Gemini 1.5 Pro, le laboratoire porte la mémoire de travail d'un modèle de langage à un ordre de grandeur jamais atteint publiquement : là où la concurrence plafonnait à quelques centaines de milliers de tokens, Google ouvre une fenêtre d'un million — et annonce, dans la foulée, en avoir testé dix millions en recherche. Ce n'est pas une amélioration de plus sur un benchmark. C'est un changement de nature dans ce qu'un modèle peut lire d'un seul tenant.
Dans cette chronique « Les Métriques », l'habitude est de regarder les chiffres avant les récits. Or ceux de Gemini 1.5 Pro parlent d'eux-mêmes : un million de tokens, c'est environ 700 000 mots, une heure de vidéo, onze heures d'audio, ou plus de 30 000 lignes de code — le tout digéré en une seule requête. Nous allons remettre cette avancée dans son ordre de grandeur exact, comprendre l'architecture qui la rend possible, et surtout mesurer ce qu'elle change réellement pour les usages. Car un grand nombre affiché ne vaut que s'il tient sa promesse : un modèle qui « voit » un million de tokens mais en oublie la moitié n'a rien réglé. La vraie question, celle que le rapport technique pose en premier, est celle de la rétention.
Ce que c'était : l'annonce du 15 février 2024
Google publie Gemini 1.5 le 15 février 2024, quelques semaines seulement après avoir déployé sa première génération. Le modèle mis en avant, Gemini 1.5 Pro, est présenté comme un modèle multimodal de taille intermédiaire, optimisé pour un large éventail de tâches. Le point le plus commenté n'est pas sa puissance brute, mais sa fenêtre de contexte : la quantité d'information qu'il peut garder « en tête » pour produire sa réponse.
Sundar Pichai, directeur général de Google, résume l'avancée en une phrase qui deviendra la signature de ce lancement.
Nous avons pu augmenter considérablement la quantité d'information que nos modèles peuvent traiter — jusqu'à un million de tokens de manière constante.
Le token est l'unité de base que manipule un modèle de langage : un fragment de mot, souvent quelques caractères. Un million de tokens correspond, en anglais, à quelque 700 000 mots — l'équivalent de plusieurs romans épais mis bout à bout. Jusqu'alors, les modèles de pointe raisonnaient sur des dizaines, parfois quelques centaines de milliers de tokens. Passer le cap du million déplace la frontière du pensable.
Les chiffres exacts, sans arrondi flatteur
La rigueur impose de distinguer trois paliers, souvent confondus dans la couverture médiatique de l'époque :
- 128 000 tokens : la fenêtre de contexte standard proposée d'emblée à l'ensemble des utilisateurs. Déjà confortable, elle se situe dans la fourchette haute du marché de février 2024.
- 1 million de tokens : la fenêtre étendue, ouverte en preview privée à un groupe limité de développeurs et de clients entreprise, via Google AI Studio et Vertex AI. C'est le chiffre qui fait l'annonce, décrit par Google comme la plus longue fenêtre de contexte de tout modèle de fondation à grande échelle à cette date.
- 10 millions de tokens : le palier atteint en recherche, non déployé en produit, mais documenté dans le rapport technique. C'est la démonstration que l'architecture ne s'effondre pas à l'échelle supérieure.
À retenir. Trois paliers, à ne pas confondre : 128 000 tokens (fenêtre standard, ouverte à tous), 1 million (preview privée) et 10 millions (recherche, non déployé en produit). C'est le million qui fait l'objet de l'annonce — les dix millions ne sont qu'une démonstration en laboratoire.
Ce que cela représente en contenu concret vaut mieux qu'un long discours. Gemini 1.5 Pro peut ingérer, en une seule fois, une heure de vidéo, onze heures d'audio, une base de code de plus de 30 000 lignes, ou plus de 700 000 mots de texte. Un rapport annuel, un manuel technique entier, l'intégralité d'un dépôt logiciel : autant d'objets qui, hier, devaient être découpés, résumés, recousus, entrent désormais d'un bloc dans la mémoire du modèle.
Entrez un nombre de tokens (ou choisissez un palier) pour estimer l'équivalent en texte, vidéo, audio et code. Étalonné sur les chiffres de l'article : 1 M tokens ≈ 700 000 mots · 1 h de vidéo · 11 h d'audio · 30 000 lignes de code.
Ordres de grandeur approximatifs, calés sur les équivalences citées (1 M tokens ≈ 700 k mots · 1 h vidéo · 11 h audio · 30 k lignes). La conversion en mots dépend de la langue et de la tokenisation.
Une prouesse d'efficacité, pas seulement de taille
Un détail passe parfois inaperçu et mérite d'être souligné, car il concerne l'économie du calcul. Gemini 1.5 Pro atteint, selon Google, une qualité comparable à celle de Gemini 1.0 Ultra — le modèle le plus puissant de la génération précédente — tout en mobilisant nettement moins de ressources de calcul. Autrement dit, le laboratoire n'a pas seulement allongé la fenêtre de contexte ; il a rendu un modèle intermédiaire aussi capable que son grand frère, à moindre coût. Ce double mouvement — plus de mémoire, moins de calcul — est ce qui rend l'avancée exploitable en pratique, et pas seulement spectaculaire sur le papier.
L'architecture : comment tenir un million de tokens
Traiter un million de tokens ne relève pas de la simple montée en puissance. Le mécanisme d'attention des transformers, cœur des modèles de langage modernes, a un coût qui croît vite avec la longueur du contexte. Doubler la fenêtre ne double pas la difficulté : elle augmente bien plus rapidement. Franchir le million supposait donc des choix d'ingénierie précis, exposés dans le rapport technique publié par Google DeepMind.
Mixture-of-Experts : activer moins pour raisonner plus loin
Gemini 1.5 repose sur une architecture Mixture-of-Experts (MoE), littéralement « mélange d'experts ». Le principe rompt avec le modèle dense classique. Un transformer dense active l'intégralité de son réseau de neurones pour chaque token traité. Un modèle MoE, lui, est découpé en sous-réseaux spécialisés — les « experts » — et un mécanisme de routage sélectionne, pour chaque token, seulement les experts pertinents.
Google résume ainsi le contraste dans son annonce.
Là où un transformer traditionnel fonctionne comme un seul grand réseau de neurones, les modèles MoE sont divisés en plus petits réseaux « experts ».
L'intérêt est direct pour le long contexte. En n'activant qu'une fraction de ses paramètres à chaque token, le modèle conserve une vaste capacité de connaissance tout en maîtrisant le coût de traitement. C'est ce découplage entre la taille totale du modèle et le calcul réellement dépensé qui autorise à pousser la fenêtre de contexte sans faire exploser la facture. Le MoE n'est pas une invention de Gemini 1.5 — il circule dans la recherche depuis les années 1990 et connaît un fort regain d'intérêt depuis le début de la décennie — mais son intégration à cette échelle, couplée au long contexte, en fait ici une pièce maîtresse.
À retenir. Le vrai coup de force de Gemini 1.5 n'est pas d'avoir ajouté de la mémoire, mais d'avoir dissocié la taille du modèle de son coût de calcul. En n'activant qu'une fraction des paramètres à chaque token, le Mixture-of-Experts ouvre une fenêtre géante sans payer l'intégralité du réseau à chaque passage.
Le MoE découple la taille totale du modèle du calcul réellement dépensé : c'est ce qui rend le long contexte soutenable.
Le token, cette unité qui décide de tout
Pour peser correctement le million, il faut s'arrêter un instant sur ce qu'est un token. Un modèle de langage ne lit pas des mots, mais des fragments : la tokenisation découpe le texte en unités que le modèle sait manipuler. Selon la langue et le vocabulaire, un mot peut valoir un seul token ou se scinder en plusieurs. En anglais, la règle empirique retenue par les principaux acteurs situe un token autour de trois quarts de mot ; c'est ce ratio qui permet de convertir un million de tokens en environ 700 000 mots. La conversion n'est donc pas exacte au mot près, mais l'ordre de grandeur est solide et documenté.
Cette précision compte, car les comparaisons entre modèles reposent sur cette unité. Annoncer un million de tokens plutôt qu'un million de mots n'est pas un artifice : c'est l'unité réelle de travail du modèle, celle qui détermine le coût de calcul et la longueur du contexte. Ramener les chiffres à des contenus tangibles — un livre, une heure de vidéo, un dépôt de code — n'est qu'une aide à l'intuition. Le token reste la mesure de vérité, et c'est à cette aune que se lisent les métriques de rétention.
Pourquoi allonger le contexte coûte cher
Le coût d'un long contexte ne se répartit pas de manière uniforme. Dans un transformer, le mécanisme d'attention met chaque token en relation avec tous les autres pour décider de ce qui compte. Cette mise en relation généralisée fait grimper le coût de traitement bien plus vite que la simple longueur du texte : allonger la fenêtre ne se paie pas au prorata, mais à un rythme accéléré. Voilà pourquoi les fenêtres géantes sont longtemps restées hors de portée — non par manque d'idées, mais par le mur du coût de calcul.
C'est ce mur que l'ingénierie de Gemini 1.5 a contourné, en combinant l'économie de calcul du Mixture-of-Experts à des optimisations sur l'attention elle-même. Le rapport technique reste mesuré sur le détail de ces mécanismes, mais le résultat est là : une fenêtre d'un million de tokens exploitable en pratique, avec une qualité qui tient. La leçon d'ingénierie est claire — la taille de la fenêtre n'est pas qu'une affaire de mémoire, c'est d'abord une affaire d'efficacité du calcul.
Allonger la fenêtre ne se paie pas au prorata : c'est cette croissance accélérée que l'ingénierie de Gemini 1.5 apprend à contourner.
La vraie épreuve : « l'aiguille dans la botte de foin »
Une grande fenêtre de contexte ne sert à rien si le modèle « oublie » ce qui se trouve au milieu. Le test devenu standard pour mesurer cela porte un nom imagé : needle in a haystack, l'aiguille dans la botte de foin. On glisse une information précise — l'aiguille — à un endroit quelconque d'un très long document — la botte de foin — puis on demande au modèle de la retrouver. Le taux de récupération mesure la fidélité de la mémoire sur toute la longueur du contexte.
On cache une information précise dans un très long document, puis on demande au modèle de la retrouver. Le taux de récupération mesure la fidélité réelle de la mémoire.
C'est ici que les métriques de Gemini 1.5 Pro impressionnent le plus. Le rapport technique fait état d'un taux de récupération supérieur à 99 % sur ce test, à travers les trois modalités — texte, vidéo et audio — jusqu'à un million de tokens. Plus remarquable encore : en poussant l'expérience jusqu'à dix millions de tokens sur du texte, le modèle conserve un taux de rétention de 99,2 %. Le rapport détaille des performances quasi parfaites jusqu'à environ 10 millions de tokens en texte (soit à peu près 7 millions de mots), 9,7 millions de tokens en audio (jusqu'à 107 heures) et 9,9 millions de tokens en vidéo (jusqu'à 10,5 heures).
Ce niveau de fidélité change tout. Une fenêtre de contexte n'a de valeur que si l'information y reste accessible d'un bout à l'autre. Un modèle qui affiche un million de tokens mais oublie ce qui se trouve en son centre offre une promesse creuse. Gemini 1.5 Pro démontre, chiffres à l'appui, que la mémoire tient sur toute la longueur — c'est la différence entre une capacité annoncée et une capacité réelle.
À retenir. Un million de tokens affiché ne vaut rien si le modèle oublie le milieu du document. Le test de l'aiguille dans la botte de foin donne plus de 99 % de récupération jusqu'à 1 M de tokens (texte, audio, vidéo), et encore 99,2 % à 10 M en texte. C'est ce chiffre de rétention — bien plus que la taille brute — qui valide l'annonce.
| Palier | Tokens | Statut (fév. 2024) | Équivalent approximatif |
|---|---|---|---|
| Fenêtre standard | 128 000 | Ouverte à tous | ~ un long livre |
| Fenêtre étendue | 1 000 000 | Preview privée | ~700 000 mots · 1 h de vidéo · 11 h d'audio · 30 000+ lignes de code |
| Palier recherche | 10 000 000 | Expérimental | ~7 M mots · ~10,5 h de vidéo · 107 h d'audio |
Le contexte : où en était l'IA juste avant
Pour saisir l'ampleur de l'avancée, il faut revenir à l'état du terrain fin 2023 et au tout début de 2024. Le long contexte était déjà un sujet brûlant, une frontière que plusieurs laboratoires poussaient en parallèle. Gemini 1.5 Pro n'arrive pas dans le vide : il vient couronner une course engagée depuis des mois.
Gemini 1.0, deux mois plus tôt
Le 6 décembre 2023, Google avait lancé Gemini 1.0, sa première génération pensée nativement multimodale, déclinée en trois tailles : Ultra pour les tâches les plus complexes, Pro pour un large spectre d'usages, et Nano pour l'exécution sur appareil. À son lancement, Gemini Pro et Nano étaient intégrés respectivement à Bard et au smartphone Pixel 8 Pro, tandis que Gemini Ultra devait alimenter « Bard Advanced » et parvenir aux développeurs au début de 2024.
Gemini 1.5 arrive donc à peine deux mois après cette première génération. Le rythme est révélateur : Google ne procède pas par grandes révisions annuelles mais par itérations rapprochées, chacune corrigeant et prolongeant la précédente. Et l'axe choisi pour 1.5 n'est pas la course aux paramètres, mais la mémoire — le long contexte comme terrain de différenciation.
La course au long contexte
À l'automne 2023, Anthropic avait marqué les esprits avec Claude 2.1, doté d'une fenêtre de 200 000 tokens — environ 150 000 mots, ou quelque 500 pages. C'était alors l'une des plus vastes fenêtres du marché, et elle avait déplacé les attentes : les développeurs découvraient qu'on pouvait soumettre des documents entiers plutôt que des extraits. Deux cent mille tokens représentaient déjà un saut considérable par rapport aux fenêtres de quelques milliers de tokens qui prévalaient un an plus tôt.
C'est sur cette toile de fond qu'il faut lire l'annonce de février 2024. En passant à un million de tokens, Gemini 1.5 Pro ne fait pas un pas de plus dans la même direction : il multiplie par cinq la meilleure fenêtre publique disponible, et démontre en recherche un palier cinquante fois supérieur. Le tableau ci-dessous replace ces repères dans leur chronologie.
| Date | Événement | Fenêtre de contexte |
|---|---|---|
| Nov. 2023 | Claude 2.1 (Anthropic) | 200 000 tokens |
| 6 déc. 2023 | Gemini 1.0 (Google) | Contexte de génération standard |
| 15 fév. 2024 | Gemini 1.5 Pro (Google) | 128 000 → 1 000 000 (preview) · 10 M en recherche |
Pourquoi ce moment précis
Plusieurs conditions se réunissent au tournant de 2024 pour rendre ce saut possible. D'abord, la maturité de l'architecture MoE, qui permet de dissocier la taille du modèle de son coût de calcul. Ensuite, une série de progrès sur les mécanismes d'attention efficaces, qui atténuent l'explosion du coût quand le contexte s'allonge. Enfin, une demande claire du terrain : les praticiens butaient sur les limites de contexte, contraints de découper, résumer et rassembler manuellement leurs documents. Le long contexte n'était pas une lubie de laboratoire, mais une réponse à une gêne quotidienne. Gemini 1.5 Pro arrive au moment exact où la technique rejoint le besoin.
Ce que ça a changé : lire un livre, une vidéo, un dépôt d'un seul tenant
L'intérêt d'un million de tokens n'est pas théorique. Il se mesure à ce qu'il rend possible et qui, auparavant, imposait des contorsions. Trois familles d'usages illustrent le changement de manière frappante.
Analyser des documents entiers, sans découpage
Avant le long contexte, soumettre un long document à un modèle relevait du bricolage. Il fallait le découper en morceaux, traiter chaque fragment isolément, puis tenter de recoller les analyses — au risque de perdre les liens entre des passages éloignés. Cette approche, dite de segmentation, se heurte à une limite structurelle : un modèle qui ne voit qu'un chapitre à la fois ne peut pas saisir une contradiction entre le premier et le dernier.
Avec une fenêtre d'un million de tokens, un rapport annuel complet, un contrat de plusieurs centaines de pages ou un manuel technique entier tiennent d'un seul tenant dans le contexte. Le modèle peut alors relier une clause de la page 3 à une exception de la page 280, repérer une incohérence entre deux sections distantes, ou synthétiser un ensemble volumineux sans jamais perdre le fil. La rétention quasi parfaite mesurée par le test de l'aiguille dans la botte de foin donne toute sa portée à cette bascule : ce n'est pas seulement que le document tient, c'est que le modèle s'en souvient d'un bout à l'autre.
Comprendre des vidéos et de longs enregistrements
La dimension multimodale de Gemini 1.5 Pro élargit encore le champ. Une heure de vidéo entre dans une seule requête. Le modèle peut ainsi analyser un enregistrement long — un cours, une conférence, un documentaire — et répondre à des questions sur son contenu, retrouver un moment précis, ou en produire un résumé structuré. Onze heures d'audio, de leur côté, permettent de traiter des podcasts, des réunions ou des archives sonores dans leur intégralité.
Cette capacité déplace la frontière de ce qu'un assistant peut faire avec des contenus temporels. Là où il fallait auparavant transcrire, découper et indexer manuellement, le modèle absorbe le flux entier et le rend interrogeable. Pour la recherche, l'éducation ou l'archivage, l'économie de manipulation est considérable.
Le fait que la rétention se maintienne à travers les modalités — texte, image, audio, vidéo — mérite une attention particulière. Beaucoup de systèmes traitent bien le texte long mais perdent en fidélité dès qu'on mêle des formats. Le rapport technique documente au contraire une récupération supérieure à 99 % non seulement sur le texte, mais aussi sur l'audio et la vidéo jusqu'à un million de tokens. Un modèle capable de retrouver un instant précis dans dix heures de vidéo, ou une phrase dans une centaine d'heures d'audio, ouvre un champ d'usage que le texte seul ne couvrait pas. C'est là une des originalités de Gemini 1.5 Pro : le long contexte y est nativement multimodal, pas cantonné à l'écrit.
Raisonner sur des bases de code complètes
Le cas du code est peut-être le plus parlant pour les équipes techniques. Plus de 30 000 lignes de code — une base logicielle de taille sérieuse — tiennent dans le contexte. Le modèle peut alors raisonner sur l'ensemble d'un projet : comprendre comment un module en appelle un autre, repérer où une fonction est utilisée à travers tout le dépôt, ou expliquer une architecture complète plutôt qu'un fichier isolé.
La différence avec l'approche fragment par fragment est qualitative. Un modèle qui ne voit qu'un fichier à la fois raisonne à l'aveugle sur les dépendances ; un modèle qui voit tout le dépôt saisit les relations. Pour l'analyse, la documentation ou la compréhension d'un code hérité, cette vision d'ensemble ouvre des usages nouveaux. Le rapport technique va d'ailleurs plus loin en démonstration : la capacité à traiter jusqu'à dix millions de tokens en recherche laisse entrevoir l'analyse de bases de code d'une ampleur bien supérieure.
Le passage au long contexte ne rend pas seulement le modèle « plus grand » : il change la nature des questions qu'on peut lui poser, de l'extrait au corpus entier.
Une alternative, pas un remplacement
Un point mérite d'être posé avec nuance, car il fait déjà débat. Le long contexte n'efface pas les approches de récupération d'information, où l'on va chercher, dans une base externe, les passages pertinents avant de les soumettre au modèle. Les deux méthodes coexistent : la fenêtre géante brille quand tout le corpus tient dedans et qu'on veut un raisonnement global ; la récupération reste précieuse pour interroger des bases de données bien plus vastes qu'un million de tokens, ou pour maîtriser le coût de traitement. Gemini 1.5 Pro ne clôt pas ce débat ; il apporte une option nouvelle, puissante, à côté des outils existants. C'est ainsi qu'il faut lire son apport : un élargissement de la palette, pas une table rase.
À retenir. Le long contexte ne rend pas obsolète la recherche d'information (RAG). La fenêtre géante gagne quand tout le corpus tient dedans et qu'on veut un raisonnement global ; la récupération externe reste pertinente pour des bases bien plus vastes qu'un million de tokens, ou pour maîtriser le coût. Les deux coexistent : Gemini 1.5 élargit la palette, il ne la remplace pas.
Lire les métriques sans les surinterpréter
La rigueur commande aussi de nommer les limites. Le test de l'aiguille dans la botte de foin, aussi éclairant soit-il, mesure une chose précise : la capacité à retrouver une information insérée dans un long contexte. C'est un indicateur de fidélité de la mémoire, pas une garantie que le modèle raisonne parfaitement sur l'ensemble du contenu. Retrouver une phrase et synthétiser un raisonnement réparti sur des centaines de pages sont deux exercices distincts, et le second reste plus exigeant.
De même, une fenêtre d'un million de tokens ne signifie pas qu'il faille toujours la remplir. Traiter un contexte immense a un coût, en calcul comme en délai de réponse ; sur beaucoup de tâches, un contexte ciblé reste plus efficace. La capacité offre une liberté nouvelle, elle ne dicte pas un usage systématique. Cette lucidité fait partie de la lecture honnête des métriques : célébrer l'avancée réelle sans lui prêter des vertus qu'elle n'a pas revendiquées. Gemini 1.5 Pro a repoussé une frontière, il n'a pas aboli les arbitrages d'ingénierie — et c'est très bien ainsi.
Les perspectives : du million au palier suivant
Reste à mesurer la portée de ce que Google vient de dévoiler. À l'heure où le million de tokens s'ouvre en preview et où le rapport technique documente dix millions en recherche, la trajectoire se laisse deviner sans se laisser prédire. Une chose paraît acquise dès maintenant : ce lancement ne ressemble pas à un feu de paille, mais à la pose d'un nouveau standard.
Du palier de recherche au produit
Le rapport technique décrit un palier de dix millions de tokens atteint en laboratoire, sans déploiement produit. La logique que Google donne à voir laisse penser que cette démonstration pourrait, à terme, se traduire en capacité ouverte : démontrer en recherche, stabiliser, puis élargir progressivement l'accès. Si cette dynamique se confirmait, le million de février serait moins un aboutissement qu'une étape — le premier palier public d'une échelle appelée à s'étendre. Rien ne garantit toutefois le calendrier ni l'ampleur exacte de la suite : le passage d'une prouesse de recherche à un produit stable et abordable reste, à cette date, une promesse et non un fait.
Ce que l'on peut affirmer, en revanche, c'est que l'architecture semble avoir de la marge. Le fait que le modèle tienne une rétention quasi parfaite jusqu'à dix millions de tokens en interne suggère que la limite du million ouverte au public tient davantage à des choix de déploiement — coût, stabilité, montée en charge — qu'à un plafond technique infranchissable. La question ouverte n'est donc pas de savoir si l'on ira plus loin, mais quand, et à quel prix de calcul.
Vers une banalisation du long contexte
L'effet le plus profond de ce que Google annonce pourrait bien être d'ordre culturel : rendre le long contexte ordinaire. Ce qui relève de l'exploit en ce mois de février 2024 a toutes les chances de devenir, à mesure que les acteurs s'aligneront, une attente de base. En posant publiquement la barre à un million, Gemini 1.5 Pro déplace le point de référence de tout l'écosystème. Les fenêtres de quelques milliers de tokens, encore courantes il y a un an, commencent déjà à sembler étroites.
Si cette bascule se confirme, le long contexte passerait du statut de fonctionnalité différenciante à celui d'acquis, sur lequel les usages se construiraient sans même y penser. Ce n'est pas encore le cas — la fenêtre du million reste, à cette date, une capacité de pointe réservée à une preview. Mais la direction paraît tracée, et l'histoire récente des modèles montre qu'une frontière franchie par un laboratoire est rarement laissée longtemps sans réponse.
Ce que la rétention aura peut-être prouvé
La contribution la plus durable de Gemini 1.5 Pro ne sera peut-être pas le chiffre du million, mais la démonstration de rétention qui l'accompagne. En établissant qu'un modèle peut conserver une fidélité de plus de 99 % sur des millions de tokens, le rapport technique déplace la conversation. La question ne serait plus seulement « quelle est la taille de la fenêtre ? », mais « le modèle s'en sert-il vraiment sur toute la longueur ? ». Cette exigence de qualité, et pas seulement de quantité, pourrait s'imposer comme un critère d'évaluation partagé.
C'est précisément le genre de nuance que cette chronique s'attache à faire ressortir : un grand nombre ne dit rien tant qu'on ne l'a pas confronté à une mesure de fidélité. Gemini 1.5 Pro réussit ce double examen — la taille et la rétention — et c'est ce qui, dès aujourd'hui, lui donne sa place dans l'actualité des modèles.
- Novembre 2023 — Claude 2.1 : 200 000 tokens, l'une des plus vastes fenêtres publiques du moment.
- Décembre 2023 — Gemini 1.0 : première génération multimodale de Google, en trois tailles.
- Février 2024 — Gemini 1.5 Pro : 1 million de tokens en preview, 10 millions démontrés en recherche.
- À suivre — le palier de recherche laisse entrevoir des fenêtres plus larges encore, si la démonstration se transforme en produit.
Bilan : un chiffre qui tient sa promesse
Au moment où il est dévoilé, le pari de février 2024 se juge déjà sereinement. Gemini 1.5 Pro fait plus qu'afficher un grand nombre : il prouve, mesures à l'appui, qu'un modèle peut lire un million de tokens et s'en souvenir. L'architecture Mixture-of-Experts rend l'exploit soutenable, le test de l'aiguille dans la botte de foin en valide la fidélité, et les usages annoncés — documents entiers, vidéos longues, dépôts de code complets — en dessinent l'utilité concrète.
Pour la chronique « Les Métriques », cette avancée a tout d'un cas d'école : celui d'un chiffre spectaculaire qui, pour une fois, tient exactement ce qu'il annonce. Le million de tokens n'est pas une prouesse de vitrine, mais une capacité réelle et éprouvée en interne jusqu'à des paliers bien supérieurs. C'est la marque possible des vraies ruptures : elles déplacent la frontière, puis tendent à devenir si banales qu'on finit par oublier combien elles paraissaient hors de portée. La mémoire longue des modèles trouve ici un point de bascule daté et documenté — le 15 février 2024.
Sources
- Google — « Introducing Gemini 1.5, Google's next-generation AI model » (annonce officielle, 15 février 2024)
- Gemini Team, Google DeepMind — « Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context » (arXiv:2403.05530)
- Google Cloud — « The Needle in the Haystack Test and How Gemini Pro Solves It »
- 9to5Google — « Google announces Gemini 1.0 with Nano, Pro, and Ultra sizes » (6 décembre 2023)
- Anthropic — « Introducing Claude 2.1 » (fenêtre de 200 000 tokens, novembre 2023)
