Les modèles multimodaux : quand l'IA comprend texte, image, son et vidéo

Pendant des années, une intelligence artificielle ne savait faire qu'une chose à la fois : lire du texte, ou reconnaître une image, ou transcrire un son. Cette époque est révolue. En 2026, une même architecture perçoit simultanément un paragraphe, une photographie, un extrait sonore et une séquence vidéo, puis raisonne sur l'ensemble. On appelle ces systèmes des modèles multimodaux IA, et ils sont devenus le socle commun des assistants, des moteurs de recherche et des outils de création que des centaines de millions de personnes utilisent chaque semaine. Cette chronique décortique leur mécanique interne, mesure leurs performances réelles à l'aune des grands bancs d'essai publics, et pose les critères concrets qui permettent de choisir le bon système pour un usage donné.

Ce qu'est vraiment un modèle multimodal

Un modèle multimodal est un système d'intelligence artificielle capable de traiter et de produire des informations issues de plusieurs types de signaux — texte, image, audio, vidéo — au sein d'une seule et même architecture. La rupture avec les modèles unimodaux, qui se spécialisent dans un unique format de données, tient à cette capacité de croisement. Là où un modèle de langage classique ne manipulait que des suites de mots, un système multimodal cherche à reproduire la manière dont un être humain saisit une situation : en combinant plusieurs sens à la fois.

Cette convergence ouvre des usages inédits. Décrire le contenu d'une photographie, répondre à une question en s'appuyant sur un graphique financier, résumer une vidéo de conférence de deux heures, transcrire et traduire un flux audio pendant qu'il se déroule : autant de tâches qui exigent de faire dialoguer des formats hétérogènes. La force d'un modèle multimodal réside précisément dans sa capacité à établir des correspondances entre ces signaux plutôt qu'à les traiter en silos.

Du texte seul à la fusion des signaux

La trajectoire technique suit une ligne assez nette. Les premiers transformeurs de grande ampleur — GPT-2 en 2019, GPT-3 en 2020 — ne manipulaient que du texte. Puis un travail fondateur, le modèle CLIP publié par OpenAI en 2021, a montré qu'on pouvait aligner des représentations textuelles et visuelles dans un même espace vectoriel : une phrase et l'image qu'elle décrit se retrouvaient projetées à proximité l'une de l'autre. Ce principe d'alignement a servi de matrice à toute la génération suivante.

Le passage du texte seul à la multimodalité s'est ensuite opéré par paliers successifs :

Palier 1 — texte et vision assemblés : un encodeur d'image (souvent un Vision Transformer, ou ViT) produit des vecteurs qu'un adaptateur convertit en tokens intelligibles par un modèle de langage. L'image est en quelque sorte « traduite » dans le vocabulaire du texte. C'est l'approche des premiers systèmes vision-langage comme LLaVA.
Palier 2 — intégration native : les données visuelles, sonores et textuelles sont segmentées en tokens dès l'entrée et traversent le même réseau. Aucun module n'est greffé après coup. C'est la stratégie retenue par les modèles Gemini de Google et par GPT-4o d'OpenAI.
Palier 3 — génération bidirectionnelle : le modèle ne se contente plus de comprendre plusieurs formats, il en produit aussi. Texte, images, audio et vidéo peuvent apparaître en sortie. En 2026, ce palier atteint une maturité croissante, avec des résultats de plus en plus convaincants sur la génération d'images et de courtes séquences vidéo.

Une distinction mérite d'être posée d'emblée : multimodalité et raisonnement sont deux axes indépendants. Les modèles dits « de raisonnement » — la lignée o1 et o3 d'OpenAI, par exemple — misent sur des chaînes de pensée (chain-of-thought) déployées surtout en texte, pour résoudre des problèmes complexes étape par étape. La multimodalité, elle, concerne la diversité des formats en entrée et en sortie. Un système peut être multimodal sans exceller en raisonnement, et réciproquement. Les architectures les plus abouties de 2026 combinent toutefois les deux qualités.

À retenir. Multimodalité et raisonnement sont deux axes indépendants. Un modèle peut percevoir quatre formats sans pour autant dérouler un raisonnement étape par étape — et réciproquement. Évaluez ces deux dimensions séparément avant de choisir un système : un excellent score de perception visuelle ne dit rien de la capacité à résoudre un problème complexe.

Encodeurs, tokens visuels et fenêtre de contexte

Pour comprendre ce qui se passe sous le capot, trois notions clés méritent qu'on s'y arrête. La première est l'encodeur. Chaque format de données possède son propre encodeur, chargé de convertir un signal brut en une représentation numérique exploitable. Un encodeur d'image découpe la photographie en petits carreaux (les patches), les vectorise, puis les organise en une séquence. Un encodeur audio transforme le son en spectrogramme avant de le tokeniser. L'idée directrice est de ramener tous les formats à un langage commun : des suites de vecteurs que le transformeur sait manipuler.

Vient ensuite la notion de tokens visuels. Une image n'est jamais neutre du point de vue du calcul : elle « coûte » un certain nombre de tokens, exactement comme un paragraphe de texte. Selon la résolution et le modèle, une photographie ajoute l'équivalent de plusieurs centaines à quelques milliers de tokens à une requête. Cette comptabilité explique pourquoi le traitement d'images pèse davantage que celui du texte pur, et pourquoi la vidéo — une succession dense d'images — se révèle nettement plus lourde encore.

Fig. 1 — De l'hétérogénéité des signaux à l'unification par tokenisation.

La fenêtre de contexte est à un modèle multimodal ce que la mémoire de travail est à un lecteur : elle fixe la quantité d'information qu'il peut garder simultanément sous les yeux avant de répondre.

La troisième notion, la fenêtre de contexte, désigne le volume total de tokens qu'un modèle peut prendre en compte en une seule passe. Elle a explosé ces dernières années. Gemini 2.5 Pro, présenté par Google en mars 2025, embarque une fenêtre d'un million de tokens, avec une extension à deux millions annoncée. Cette ampleur change la nature des usages possibles : on peut soumettre un rapport de plusieurs centaines de pages, une base de code entière ou une longue vidéo, et interroger l'ensemble d'un coup, sans découper artificiellement le document. En vision-langage, une fenêtre large signifie aussi qu'on peut analyser un document illustré dense — graphiques, tableaux, schémas — sans en perdre la cohérence.

Les architectures : fusion précoce, fusion tardive et experts

Trois grandes familles se partagent le paysage. Chacune propose un compromis différent entre finesse d'analyse, efficacité de calcul et facilité d'entraînement.

Fusion précoce et fusion tardive

La fusion précoce (early fusion) mélange les formats dès les premières couches du réseau. Pixels, tokens textuels et fragments audio sont tous tokenisés puis versés dans un flux unique qui traverse le transformeur. L'avantage est de taille : le modèle capte des interactions fines entre les signaux dès le départ, ce qui lui permet par exemple de relier un mot d'une légende à la zone précise d'une image qu'il désigne. Le revers tient au coût : chaque couche doit gérer des séquences très longues et très hétérogènes, ce qui rend l'entraînement extrêmement exigeant en puissance de calcul. Les modèles Gemini de Google reposent sur cette philosophie de fusion précoce native.

La fusion tardive (late fusion) procède autrement : chaque format est d'abord traité par son encodeur spécialisé et indépendant, et les représentations ne se rejoignent que dans les couches supérieures du réseau. L'approche est plus modulaire — on peut améliorer l'encodeur visuel sans toucher à l'encodeur audio — et plus commode à entraîner par étapes. En contrepartie, les échanges entre formats interviennent tard, donc restent moins riches. Cette architecture convient particulièrement à l'analyse documentaire, où l'essentiel est d'extraire proprement l'information de chaque page.

L'astuce du mélange d'experts

La troisième famille, le mélange d'experts (Mixture of Experts, ou MoE), procède d'une intuition élégante. Plutôt que de faire passer chaque requête par la totalité d'un réseau gigantesque, on divise le modèle en sous-réseaux spécialisés — les « experts » — et un routeur apprend à diriger chaque token vers les quelques experts les plus pertinents. Résultat : un modèle peut totaliser des centaines de milliards de paramètres tout en n'en activant qu'une fraction à chaque requête, ce qui maintient le coût d'inférence à un niveau raisonnable.

Meta a poussé cette logique loin avec la famille Llama 4, publiée le 5 avril 2025. Le modèle Llama 4 Maverick totalise 400 milliards de paramètres répartis sur 128 experts, mais n'en mobilise que 17 milliards par token traité. Son cadet Llama 4 Scout combine 109 milliards de paramètres totaux, 17 milliards actifs et 16 experts, avec une fenêtre de contexte de dix millions de tokens — la plus vaste jamais proposée en poids ouverts au moment de sa sortie. La difficulté d'une telle architecture réside dans l'équilibrage du routage : il faut éviter que certains experts soient saturés pendant que d'autres restent inutilisés, sous peine de dégrader la stabilité de l'entraînement.

En 2026, la tendance dominante penche vers l'hybridation. Aucune architecture ne s'impose universellement. La fusion précoce native excelle sur la vidéo et la vision fine ; la fusion tardive brille en analyse documentaire ; le mélange d'experts offre le meilleur rapport performance/coût à grande échelle. Le choix dépend du service visé, et les concepteurs combinent volontiers plusieurs de ces principes dans un seul système.

Fig. 2 — Trois stratégies de fusion, trois compromis performance-coût.

Panorama des modèles multimodaux en 2026

Le paysage s'est considérablement densifié entre 2024 et 2026. Plutôt que de dresser un classement commercial, il est plus instructif d'observer comment quatre approches techniques distinctes illustrent chacune une facette de la multimodalité.

L'intégration native : Gemini

Google a fait le pari de la multimodalité native dès la conception de Gemini. Le modèle a été entraîné d'emblée sur des données textuelles, visuelles, sonores et vidéo, sans module rapporté après coup. Cette fusion précoce intégrée signifie que le système « raisonne » nativement en signaux multiples. Gemini 2.5 Pro, lancé en mars 2025, a marqué une étape avec sa fenêtre d'un million de tokens et ses capacités de raisonnement renforcées. Il analyse des vidéos longues, identifie des scènes précises, transcrit des dialogues et répond à des questions portant à la fois sur l'image et le son.

Un aspect souvent sous-estimé de cette approche est le raisonnement spatial. Le modèle comprend les relations géométriques entre objets d'une scène, estime des distances relatives et interprète des plans architecturaux. Cette compétence irrigue des applications concrètes en robotique, en navigation autonome et en réalité augmentée. L'intégration dans un écosystème bureautique — traitement de texte, tableur, présentations — offre par ailleurs un vecteur d'adoption massif : insérer un graphique dans un document, puis demander au système d'en extraire les tendances et d'en rédiger un commentaire, devient une opération banale.

La fluidité conversationnelle : GPT-4o

OpenAI a baptisé son modèle GPT-4o, le « o » signifiant « omni ». La promesse est celle d'un système unique traitant texte, image, audio et vidéo dans un flux continu. Ce qui distingue ce modèle, c'est sa fluidité conversationnelle : il passe naturellement d'un format à l'autre au cours d'un même échange — analyser une photo, répondre par la voix avec des intonations expressives, produire une image d'illustration, puis reprendre en texte. OpenAI décrit une architecture entraînée de bout en bout à travers texte, vision et audio, où tous les signaux transitent par le même réseau, sans pipeline de modèles séparés.

Côté audio, les chiffres publiés sont parlants : la latence de réponse vocale descend à 232 millisecondes au mieux et 320 millisecondes en moyenne selon OpenAI, contre une moyenne de 2,8 secondes pour l'ancien mode vocal adossé à GPT-3.5 et 5,4 secondes pour celui adossé à GPT-4 — l'ancienne chaîne qui empilait reconnaissance vocale, traitement textuel puis synthèse. Cette réactivité rapproche l'interaction vocale du rythme d'une conversation humaine ; le système gère les interruptions et adapte son ton. La suppression des transferts entre modules séparés élimine à la fois les délais et les pertes d'information qui se produisaient à chaque relais.

Passer sous la barre des trois cents millisecondes en réponse vocale ne relève pas du détail : c'est le seuil en deçà duquel un échange parlé cesse de paraître saccadé pour devenir naturel.

La rigueur documentaire : Claude

Anthropic a retenu une orientation différente avec Claude. Plutôt que de viser l'omnimodalité tous azimuts, la maison concentre ses efforts sur l'excellence en compréhension visuelle et en analyse documentaire approfondie. Claude traite le texte et les images avec une précision remarquable, en s'appuyant sur une fenêtre de contexte étendue qui autorise l'examen de très longs documents en une seule passe. Sa capacité à croiser information textuelle et information visuelle d'un même document produit des analyses d'une profondeur notable : rapports financiers illustrés, articles scientifiques avec formules et diagrammes, captures d'écran d'interfaces, contrats annotés.

La philosophie d'Anthropic privilégie la fiabilité sur la polyvalence. Claude est conçu pour limiter les hallucinations visuelles — ces cas où un modèle « invente » des éléments absents d'une image. Cette prudence se traduit par des réponses plus mesurées, mais généralement plus sûres, ce qui compte dans les usages professionnels où une mauvaise lecture d'un visuel peut avoir des conséquences lourdes.

Le poids ouvert : Llama, Qwen et leurs pairs

La famille Llama 4 de Meta a rebattu les cartes du côté des modèles en poids ouverts, avec son architecture de mélange d'experts et sa fusion précoce native. Mais l'écosystème ouvert dépasse largement Llama. Plusieurs autres systèmes méritent l'attention :

Qwen (Alibaba) : une lignée vision-langage performante, particulièrement efficace sur les langues asiatiques mais aussi compétitive en anglais et en français, dont les plus grandes déclinaisons rivalisent avec des modèles propriétaires sur de nombreux tests visuels.
DeepSeek-VL : développé par l'entreprise chinoise DeepSeek, ce modèle combine une architecture de mélange d'experts et des capacités visuelles avancées, remarqué pour ses résultats sur les épreuves mathématiques multimodales.
InternVL : issu d'un laboratoire de recherche shanghaïen, ce système excelle en compréhension de documents et de graphiques.
Pixtral (Mistral AI) : le modèle multimodal de l'éditeur français, avec un accent marqué sur le multilinguisme européen, français compris.

L'atout fondamental du poids ouvert tient à la souveraineté des données. Une organisation peut déployer ces modèles sur sa propre infrastructure, sans transmettre d'informations sensibles à une interface tierce. En Europe, où le RGPD et le règlement sur l'intelligence artificielle imposent un cadre strict au traitement des données, ce critère est devenu déterminant. L'écosystème communautaire, animé notamment par la plateforme Hugging Face, héberge des milliers de variantes affinées pour des tâches ciblées : analyse de documents médicaux, inspection industrielle, traduction visuelle. Des outils de déploiement standardisés abaissent la barrière technique, tandis que des cadres d'évaluation partagés permettent de comparer objectivement les performances.

Mesurer la multimodalité : les grands bancs d'essai

Évaluer un modèle multimodal est nettement plus délicat que jauger un modèle purement textuel. Il faut apprécier non seulement la compréhension de chaque format isolément, mais aussi la finesse avec laquelle le système les combine. Plusieurs bancs d'essai publics se sont imposés comme références.

MMMU, MathVista, Video-MME et les autres

Le banc d'essai le plus emblématique est MMMU (Massive Multi-discipline Multimodal Understanding). Décrit dans un article de recherche publié sur arXiv et présenté à la conférence CVPR 2024, il rassemble 11 500 questions de niveau universitaire tirées d'examens, de quiz et de manuels, réparties sur six grandes disciplines, 30 sujets et 183 sous-domaines. Les questions mêlent texte et images — graphiques, diagrammes, cartes, partitions musicales, structures chimiques — et exigent un raisonnement fondé sur des connaissances spécialisées. C'est l'un des tests les plus représentatifs des capacités multimodales réelles.

Un enseignement de 2026 mérite d'être souligné : les meilleurs modèles frontière atteignent désormais un tel niveau sur la version d'origine de MMMU que le banc d'essai approche de sa saturation. La communauté s'est donc tournée vers une variante plus exigeante, MMMU-Pro, conçue pour rester discriminante. Sur cette version robuste, les systèmes de premier plan convergent en 2026 dans une fourchette resserrée d'environ 81 à 84 % de réponses correctes — un écart de quelques points seulement sépare les meilleurs concurrents, signe d'une maturité collective du domaine.

D'autres bancs d'essai complètent le tableau et éclairent des compétences plus spécifiques :

MathVista : raisonnement mathématique à partir de supports visuels — graphiques, figures géométriques, tableaux de données.
Video-MME : compréhension de vidéos d'extraits de durées variables, de quelques secondes à plusieurs heures, pour tester le suivi d'un récit visuel dans le temps.
DocVQA : questions-réponses sur des documents scannés — formulaires, factures, rapports — qui éprouvent la reconnaissance de caractères et la compréhension de la mise en page.
ChartQA : extraction d'informations quantitatives précises à partir de graphiques et de visualisations.
AI2D : interprétation de diagrammes scientifiques et de schémas techniques.
BLINK : perception visuelle « évidente » pour un humain mais ardue pour une machine — comptage d'objets, estimation de profondeur, comparaison de tailles.

Une limite structurelle traverse tous ces tests : ils mesurent des compétences isolées. Dans la vie réelle, les usages entrelacent plusieurs formats au sein de flux de travail complexes. Un modèle qui triomphe sur MMMU mais trébuche sur l'analyse d'un rapport trimestriel illustré n'aura qu'un intérêt académique. Les évaluations qualitatives et les retours de terrain demeurent donc indispensables.

À retenir. Un score élevé sur MMMU ou DocVQA ne garantit pas la performance en condition réelle. Ces bancs d'essai mesurent des compétences isolées ; les usages professionnels entrelacent plusieurs formats dans des flux de travail qu'aucun test ne reproduit fidèlement. Croisez toujours les chiffres publics avec une évaluation sur vos propres données représentatives.

Repères de performance 2026

Le tableau ci-dessous synthétise, à titre indicatif, les repères observés sur les principaux bancs d'essai au cours du premier semestre 2026. Les chiffres évoluent vite au gré des mises à jour ; ils doivent se lire comme des ordres de grandeur plutôt que comme un palmarès figé.

Banc d'essai	Ce qu'il mesure	Niveau des meilleurs modèles (2026)
MMMU (version d'origine)	Compréhension multi-disciplinaire niveau universitaire	Proche de la saturation pour les modèles frontière
MMMU-Pro	Variante robuste, plus discriminante	≈ 81 à 84 % (concurrents resserrés)
MathVista	Raisonnement mathématique visuel	Progrès marqués, tête de peloton disputée
Video-MME	Compréhension temporelle de vidéos	Avantage aux architectures nativement vidéo
DocVQA	Lecture de documents scannés	Au-delà de 90 % pour les systèmes spécialisés

Sources : article MMMU (arXiv 2311.16502, CVPR 2024), classements MMMU-Pro publics, documentation des éditeurs. Repères du premier semestre 2026.

Plusieurs constats se dégagent. Les architectures nativement multimodales conservent un avantage sur la vidéo, format le plus exigeant. Les systèmes spécialisés dans le document franchissent régulièrement la barre des 90 % sur DocVQA. Et surtout, l'écart entre modèles propriétaires et modèles en poids ouverts se réduit d'année en année, même si les seconds restent en léger retrait sur les épreuves les plus ardues.

Des usages concrets, secteur par secteur

Au-delà des bancs d'essai, la multimodalité transforme des métiers entiers. Trois domaines illustrent particulièrement bien sa valeur : la production audiovisuelle, l'industrie et la santé, l'accessibilité.

Génération et montage vidéo assistés

La génération de vidéo par intelligence artificielle a franchi un cap en 2025-2026. Des systèmes comme Sora d'OpenAI et Veo de Google produisent des séquences dont la qualité aurait paru hors de portée deux ans plus tôt. La convergence texte-image-vidéo joue ici un rôle central : c'est parce que les modèles comprennent à la fois le langage naturel et la physique d'une scène qu'ils génèrent des séquences cohérentes à partir d'une simple consigne écrite. Sur le plan technique, ces systèmes reposent sur des transformeurs de diffusion qui traitent la vidéo comme un volume, en travaillant sur des fragments à la fois spatiaux et temporels (spacetime patches) plutôt que sur une suite d'images indépendantes.

La durée reste toutefois une contrainte réelle. Au début 2026, les meilleurs systèmes produisent des clips de huit à vingt-cinq secondes, avec audio synchronisé, physique plausible et personnages constants d'un plan à l'autre. Sora 2 génère des séquences d'une quinzaine de secondes en moyenne, dialogue et bruitages inclus ; Veo se concentre sur des plans de huit secondes en haute définition à 24 images par seconde, avec son natif. Au-delà de ces durées, la cohérence narrative se dégrade. Les flux de production professionnels contournent la limite en générant des plans courts qu'un montage assisté assemble ensuite en séquences plus longues.

Les cas d'usage se multiplient : production de variantes publicitaires pour différentes audiences, présentation de produits en commerce en ligne sans tournage, modules de formation avec narration synthétique, montage et étalonnage assistés en post-production. Cette convergence soulève en parallèle des questions d'authenticité bien identifiées. Les plateformes et les régulateurs déploient des mécanismes de filigranage (watermarking) et de traçabilité pour distinguer les contenus produits par une machine des contenus captés. Le règlement européen sur l'intelligence artificielle impose d'ailleurs un marquage explicite des contenus de synthèse diffusés publiquement, avec des obligations qui deviennent exécutoires le 2 août 2026.

Inspection industrielle et aide au diagnostic

L'analyse d'images est l'un des domaines où la multimodalité apporte la valeur la plus mesurable. En contrôle qualité manufacturier, des systèmes fondés sur des modèles multimodaux inspectent les produits en sortie de chaîne. Ils repèrent les défauts visuels — rayures, déformations, écarts de teinte — mais peuvent aussi les catégoriser, estimer leur gravité et proposer des actions correctives, le tout en langage naturel. Un opérateur peut demander : « montre-moi tous les défauts de type fissure sur la production du dernier quart d'heure » et obtenir une réponse structurée, à la fois visuelle et textuelle.

En maintenance prédictive, ces modèles croisent images thermiques, relevés de capteurs et rapports d'intervention antérieurs pour anticiper les pannes. La capacité à faire dialoguer un cliché infrarouge, un journal de maintenance et une série de mesures dans une même analyse constitue un progrès net face aux systèmes de vision par ordinateur classiques, qui traitaient chaque source isolément.

En santé, la multimodalité ouvre des perspectives sérieuses pour l'aide au diagnostic. Des modèles spécialisés examinent conjointement les images médicales — radiographies, IRM, scanners — et les dossiers cliniques textuels du patient pour épauler le praticien. Une précision s'impose toutefois : ces systèmes ne sont pas des dispositifs médicaux certifiés au sens réglementaire. Ce sont des outils d'aide à la décision destinés à des professionnels qualifiés. Aucun diagnostic ne saurait reposer uniquement sur une analyse automatisée ; le médecin demeure seul décisionnaire. En Europe, le règlement sur les dispositifs médicaux et le règlement sur l'intelligence artificielle encadrent strictement ces usages, classés parmi les applications à risque élevé.

Accessibilité et sous-titrage en temps réel

La multimodalité apporte des avancées majeures en accessibilité numérique, en créant des passerelles entre formats au bénéfice des personnes en situation de handicap. Pour les personnes malvoyantes, les modèles produisent des descriptions audio riches et contextualisées des images et des vidéos. Loin des anciens textes alternatifs sommaires (« une personne dans un bureau »), les systèmes actuels identifient les éléments importants, décrivent les relations spatiales, interprètent les expressions et commentent même graphiques et diagrammes de façon intelligible.

Le sous-titrage en temps réel a lui aussi beaucoup progressé. Les modèles ne se bornent plus à transcrire la parole : ils intègrent les sons ambiants pertinents (musique, applaudissements, sirène), distinguent les locuteurs et ajoutent des indications de contexte. La latence est tombée sous le demi-seconde pour les meilleurs systèmes, ce qui rend le sous-titrage direct exploitable en réunion professionnelle et lors d'événements. Pour les personnes sourdes et malentendantes, des dispositifs expérimentaux combinent reconnaissance de la langue des signes par caméra et génération de texte ou de parole, esquissant un pont à double sens entre signeurs et locuteurs.

La traduction multimodale en temps réel constitue un autre usage transformateur. En combinant reconnaissance vocale, traduction et synthèse dans un flux quasi instantané, elle permet à un participant francophone de suivre une conférence en japonais avec des sous-titres en français générés à la volée, tout en voyant les diapositives traduites. Cette convergence abaisse sensiblement les barrières linguistiques dans les contextes professionnels internationaux.

Ce qui résiste encore : les limites techniques

Malgré des progrès rapides, les modèles multimodaux de 2026 conservent des limites réelles. Deux sujets concentrent l'attention de la recherche : la fiabilité des interprétations visuelles et le coût de calcul.

Hallucinations visuelles et biais de format

Les hallucinations visuelles désignent les cas où un modèle décrit ou interprète des éléments absents de l'image qu'il analyse. C'est l'équivalent visuel des hallucinations textuelles bien documentées, mais avec des traits propres. On observe couramment plusieurs formes :

Invention d'objets : le modèle mentionne un élément qui ne figure pas sur la photo — « un chat sur le canapé » alors que le canapé est vide.
Erreurs de comptage : le système se trompe sur le nombre d'éléments visibles, un problème tenace même chez les meilleurs modèles.
Lecture erronée de texte : un texte présent dans l'image est transcrit de travers, avec des chiffres inversés ou des mots substitués.
Excès de confiance : le modèle affirme ses descriptions fausses avec le même aplomb que ses descriptions justes, ce qui complique la détection des erreurs sans relecture humaine.

Un problème connexe est le biais de format : face à une contradiction entre la légende d'une image et son contenu réel, certains modèles « croient » systématiquement le texte et ignorent l'évidence visuelle, tandis que d'autres font l'inverse. Cette incohérence rend les résultats imprévisibles. Les travaux sur l'alignement inter-formats visent précisément à apprendre aux systèmes à pondérer correctement chaque signal selon le contexte.

La recherche sur la calibration progresse néanmoins. Plusieurs pistes réduisent les hallucinations : entraînement sur des données de haute qualité vérifiées par des humains, apprentissage par renforcement à partir de retours humains appliqué aux descriptions d'images, et mécanismes d'auto-vérification où le modèle confronte sa description à l'image source avant de répondre. Anthropic a beaucoup investi dans cette direction, ce qui éclaire les bons résultats de Claude en fiabilité documentaire.

Tant qu'un modèle affirmera une erreur avec le même aplomb qu'une vérité, la relecture humaine restera le dernier maillon de confiance dans les usages qui engagent une responsabilité.

Reste un chapitre de sécurité à ne pas négliger. Des travaux ont montré qu'il est possible de tromper un modèle multimodal en injectant dans une image des perturbations imperceptibles à l'œil, qui l'amènent à produire des réponses fausses ou à contourner ses garde-fous. Ces failles sont plus ardues à corriger que leurs équivalents textuels, car l'espace des perturbations visuelles est bien plus vaste. La robustesse face à ce type d'attaque fait l'objet de recherches actives.

Coût de calcul et empreinte énergétique

Entraîner et faire fonctionner un modèle multimodal coûte sensiblement plus cher qu'un modèle purement textuel. Traiter images, audio et vidéo en plus du texte multiplie les besoins en mémoire, en bande passante de calcul et en stockage. Quelques ordres de grandeur situent l'enjeu :

L'entraînement d'un modèle multimodal de pointe mobilise des grappes de dizaines de milliers de processeurs graphiques pendant plusieurs mois.
L'inférence multimodale coûte plusieurs fois plus que l'inférence sur texte seul : le traitement d'une image ajoute l'équivalent de plusieurs centaines à quelques milliers de tokens à une requête, et la vidéo pèse davantage encore.
La consommation électrique associée est considérable. Selon l'Agence internationale de l'énergie, la consommation totale des centres de données devrait atteindre environ 945 térawattheures d'ici 2030, contre 415 térawattheures en 2024 — soit près du double, un volume légèrement supérieur à la consommation électrique totale actuelle du Japon. La part liée spécifiquement à l'intelligence artificielle croît le plus vite : elle a bondi d'environ 50 % en 2025, un rythme très supérieur à celui de la demande électrique mondiale globale (+3 % la même année).

À retenir. D'ici 2030, les centres de données devraient consommer environ 945 TWh d'électricité selon l'AIE — près du double de 2024, et un volume légèrement supérieur à la consommation totale actuelle du Japon. La part imputable spécifiquement à l'IA croît le plus vite, avec une hausse d'environ 50 % rien qu'en 2025. Ce critère énergétique devient un facteur de choix à part entière, au même titre que la performance brute.

Simulateur de coût en tokens

Estimez le poids en tokens d'une requête multimodale et visualisez sa place dans une fenêtre de contexte d'un million de tokens (référence : Gemini 2.5 Pro). Les ordres de grandeur sont tirés de l'article.

Mots de texte

Images standard (≤ 768 px)

Images haute résolution (≥ 1080 px)

Vidéo (minutes, 1 image/s)

Plusieurs pistes d'optimisation sont à l'œuvre. Le mélange d'experts figure parmi les plus prometteuses : en n'activant qu'une fraction des paramètres par requête, il maintient de bonnes performances tout en réduisant le coût d'inférence. La quantification (diminution de la précision numérique des poids) et la distillation (transfert des connaissances d'un grand modèle vers un plus petit) permettent de produire des versions plus légères, taillées pour les usages qui n'exigent pas le maximum de performance. L'empreinte environnementale nourrit un débat croissant, et la transparence sur la consommation réelle des modèles reste un chantier ouvert : peu d'éditeurs publient des chiffres précis sur le coût énergétique de leur entraînement et de leur exploitation.

Poids ouvert ou propriétaire : comment choisir

Le choix entre un modèle multimodal en poids ouvert et un modèle propriétaire compte parmi les décisions les plus structurantes pour une organisation. Il dépend des performances requises, du budget, des contraintes réglementaires, des compétences internes et de la sensibilité des données traitées.

Des critères par profil d'usage

Quelques repères selon les situations :

Jeune pousse ou PME, prototypage rapide : les interfaces propriétaires constituent souvent le meilleur point de départ. Elles permettent de valider un concept sans investir dans l'infrastructure, avec un coût par requête prévisible et des performances immédiatement au niveau. Le principal point de vigilance est la dépendance au fournisseur et les limites de personnalisation.
Grande entreprise, données sensibles, déploiement à l'échelle : les modèles en poids ouvert installés sur infrastructure interne offrent un meilleur contrôle. Les données ne quittent pas le réseau, les coûts se maîtrisent mieux à grand volume et l'affinage sur mesure devient possible. Le prérequis est une équipe compétente et une capacité de calcul suffisante.
Secteur réglementé (santé, finance, secteur public) : la souveraineté des données prime. Les modèles ouverts déployés localement, ou les offres de cloud souverain européennes, sont souvent les seules options conformes. Certains fournisseurs propriétaires proposent des déploiements dédiés qui garantissent la localisation des données.
Usage créatif (génération d'images, montage vidéo) : les modèles propriétaires dominent encore la génération multimodale, même si les alternatives ouvertes progressent régulièrement.
Recherche et expérimentation : le poids ouvert est incontournable. L'accès aux poids et à l'architecture rend la recherche reproductible.

Licences, souveraineté et coût total

Les licences des modèles ouverts ne se valent pas et méritent un examen attentif avant tout déploiement commercial. Certaines, de type Apache 2.0 ou MIT, autorisent un usage commercial très large et l'affinage sans restriction notable. D'autres, propres à un éditeur, posent des seuils : la licence communautaire de Llama, par exemple, reste ouverte aux organisations en deçà d'un certain nombre d'utilisateurs actifs mensuels, au-delà duquel une licence commerciale devient requise. Il convient de vérifier au cas par cas les conditions de redistribution et d'affinage.

Du côté des interfaces propriétaires, les conditions de traitement des données varient. Les principaux fournisseurs déclarent ne pas exploiter les données transmises par leurs clients pour entraîner leurs modèles, sauf accord explicite, et proposent des options de traitement dans des régions européennes. La question de la souveraineté reste aiguë sur le continent : le RGPD impose un traitement conforme des données personnelles des citoyens européens, et le règlement sur l'intelligence artificielle ajoute des exigences de transparence, de documentation et de supervision humaine pour les systèmes à risque élevé. Pour les organisations soucieuses de maîtrise, plusieurs voies existent : déploiement de modèles ouverts sur un cloud souverain européen, recours à des offres de cloud de confiance, ou choix d'un modèle européen proposant un hébergement localisé.

La portabilité mérite aussi réflexion. Une application bâtie sur une interface donnée peut-elle migrer aisément vers une autre ? En théorie, les interfaces suivent des conventions proches. En pratique, chaque modèle a ses particularités — formats d'images acceptés, limites de tokens, gestion de l'audio, paramètres de génération. Des cadres d'abstraction offrent une interface unifiée vers plusieurs fournisseurs et facilitent cette portabilité, même si les fonctions les plus avancées restent souvent propres à chaque plateforme.

Enfin, le coût total de possession est un critère fréquemment sous-estimé. Pour une interface propriétaire, le calcul semble simple — prix par token multiplié par le volume — mais il faut y ajouter développement, intégration, tests et maintenance. Pour le poids ouvert, l'investissement initial en matériel est élevé, mais le coût marginal par requête tend vers zéro. Le point de bascule dépend fortement du volume et de la nature des requêtes : une analyse vidéo pèse bien plus qu'une simple classification d'image, ce qui déplace le seuil de rentabilité.

Où va la multimodalité

Plusieurs tendances se dessinent pour les prochains trimestres, portées par la recherche en cours et par les annonces des grands acteurs.

La convergence vers des modèles « tout-en-un » paraît se confirmer. La frontière entre compréhension et génération s'estompe : les systèmes visent à traiter et à produire texte, images, audio, vidéo et, à terme, données tridimensionnelles dans un flux unifié. L'objectif est de remplacer par un modèle unique la dizaine d'outils spécialisés que réclame aujourd'hui un flux de travail créatif complet.

L'interaction en temps réel va se généraliser. Les assistants qui voient, entendent et répondent simultanément deviennent la norme d'interaction, à mesure que la latence se rapproche de la fluidité d'un échange humain. Les lunettes connectées et les objets portés intégrant ces capacités ajoutent une dimension spatiale et contextuelle à la perception.

Le raisonnement multimodal va se renforcer. Les modèles actuels excellent en perception mais restent limités en raisonnement complexe sur des données visuelles. La prochaine étape porte sur le raisonnement causal et temporel appliqué à des séquences vidéo : comprendre pourquoi un événement se produit, anticiper les conséquences d'une action, planifier des étapes visuelles. Les systèmes qui marient multimodalité et chaîne de pensée forment la piste de recherche la plus active.

L'efficacité de calcul va progresser. Mélange d'experts, quantification avancée et puces dédiées vont réduire le coût de l'inférence multimodale. L'ambition est de rendre ces capacités accessibles sur des appareils en périphérie de réseau, y compris les téléphones, où des accélérateurs spécialisés exécutent déjà des modèles compacts en local. Le poids ouvert devrait continuer à réduire l'écart avec les modèles propriétaires : selon les mesures d'Epoch AI, les modèles en poids ouvert les plus performants accusaient début 2026 un retard moyen de l'ordre de trois à quatre mois sur la frontière fermée, un écart resserré par rapport aux estimations plus larges des années précédentes.

La réglementation, enfin, va s'affiner. Le règlement européen sur l'intelligence artificielle impose des obligations croissantes aux fournisseurs de modèles à usage général, et ses exigences de transparence, de documentation et d'évaluation des risques se précisent — un cadre où l'accès aux poids et aux données d'entraînement peut constituer un avantage pour les modèles ouverts.

En synthèse, la multimodalité n'est plus un axe de recherche parmi d'autres : c'est le paradigme dominant de l'IA en 2026. La question n'est plus de savoir si un système sera multimodal, mais comment tirer le meilleur parti de la convergence texte-image-audio-vidéo dans chaque contexte métier. Le bon choix dépend de l'usage, du budget, des contraintes réglementaires et du degré de maîtrise souhaité sur les données — et, dans tous les cas, d'une évaluation rigoureuse menée à la fois sur les bancs d'essai pertinents et sur des données représentatives du terrain réel.