LLaMA 1 : Meta ouvre l'IA de pointe à la recherche

Le 24 février 2023, Meta publie un billet au ton mesuré et un article de recherche d'une trentaine de pages qui pourraient bien, dans les semaines à venir, redistribuer les cartes du secteur. L'annonce s'intitule sobrement « Introducing LLaMA: A foundational, 65-billion-parameter large language model ». Derrière ce nom se cache une collection de quatre modèles de langage, de tailles 7, 13, 33 et 65 milliards de paramètres, mis à la disposition des chercheurs sur demande. L'entreprise ne présente pas un produit grand public ni un assistant conversationnel poli : elle offre à la communauté scientifique des modèles bruts, performants, accompagnés de leur mode d'emploi. Cet article raconte ce moment précis, le contexte technique qui l'a rendu possible, l'onde de choc qu'il commence déjà à propager, et l'héritage considérable qu'il pourrait porter dans les mois et les années à venir.

L'expression « poids ouverts » — ces fichiers numériques qui contiennent l'intelligence apprise d'un modèle et que chacun peut télécharger, exécuter et adapter — n'est pas encore d'usage courant. Mais ce qui se joue en cette fin février 2023 pourrait en faire l'un des mots-clés d'un pan entier de l'écosystème de l'intelligence artificielle. Car ce que propose Meta touche à une frontière sensible : celle qui sépare les grands modèles de langage, jusqu'ici privilège de quelques laboratoires dotés de moyens considérables, d'un possible bien partagé, façonné par une communauté mondiale. Comprendre LLaMA aujourd'hui, c'est saisir sur le vif un basculement qui pourrait s'amorcer.

Un mot de méthode avant d'entrer dans le récit. Autour de LLaMA circulent déjà beaucoup d'approximations, notamment sur ses performances et sur l'accès à ses poids. Les dates, tailles, chiffres et citations présentés ici proviennent de l'article de recherche publié par les auteurs, du billet officiel de Meta, de la presse technologique spécialisée et des dépôts publics de code. Lorsqu'une donnée n'est pas confirmée par une source solide, elle est présentée comme telle. C'est la règle de ce média : on privilégie ce qui se vérifie.

Ce que c'est : quatre modèles, un article, un accès sur demande

En ce 24 février 2023, Meta AI dévoile LLaMA, acronyme de « Large Language Model Meta AI ». La collection comprend quatre tailles distinctes : 7 milliards, 13 milliards, 33 milliards et 65 milliards de paramètres. Les paramètres sont les valeurs numériques qu'un modèle ajuste durant son apprentissage ; leur nombre donne une première idée de sa capacité et du coût de son fonctionnement. Là où les modèles les plus commentés du moment affichent des centaines de milliards de paramètres, LLaMA revendique une gamme volontairement plus compacte.

Ce choix n'est pas anodin. Il repose sur une conviction affichée dès l'annonce : un modèle plus petit, mais nourri d'une quantité de textes bien supérieure, peut atteindre un niveau de performance élevé tout en restant plus léger à exécuter et à adapter. Meta l'exprime clairement dans son billet.

Les modèles plus petits entraînés sur davantage de tokens — qui sont des fragments de mots — sont plus faciles à réentraîner et à affiner pour des cas d'usage produit spécifiques.
— Meta AI, « Introducing LLaMA », 24 février 2023

Concrètement, les chiffres d'entraînement témoignent de cette philosophie. Selon l'annonce officielle, les deux plus gros modèles, LLaMA 65B et 33B, ont été entraînés sur 1,4 billion de tokens, et le plus petit, LLaMA 7B, sur mille milliards de tokens, soit un billion. À titre de repère, un billion de tokens représente une quantité de texte colossale, plusieurs ordres de grandeur au-delà de ce qu'un être humain pourrait lire au cours de milliers d'existences. Ce volume d'entraînement, rapporté à la taille modeste des modèles, constitue précisément la trouvaille de LLaMA.

Un accès réservé à la recherche

LLaMA n'est pas mis en ligne pour le grand public. Meta le diffuse sous une licence non commerciale, centrée sur les usages de recherche, et les poids du modèle ne sont accessibles qu'aux chercheurs, au cas par cas, sur demande. L'entreprise s'adresse d'abord aux universités, aux organisations de la société civile et aux laboratoires industriels. La démarche s'inscrit dans une logique de recherche responsable : partager la matière avec la communauté scientifique tout en gardant un contrôle sur qui l'utilise et à quelles fins.

Cette distribution encadrée traduit une intention explicite, que Meta place au cœur de son argumentaire : rendre l'étude des grands modèles accessible à ceux qui n'ont pas les moyens des plus grands laboratoires.

Des modèles plus petits et plus performants comme LLaMA permettent à d'autres membres de la communauté de recherche qui n'ont pas accès à de grandes quantités d'infrastructure d'étudier ces modèles, démocratisant encore davantage l'accès à ce domaine en rapide évolution.
— Meta AI, « Introducing LLaMA », 24 février 2023

Ce point mérite d'être souligné, car il annonce peut-être toute la suite. En positionnant LLaMA comme un outil d'étude partagé plutôt que comme un service commercial, Meta ouvre une voie distincte de celle empruntée par la plupart des acteurs majeurs du moment, qui gardent leurs modèles les plus avancés derrière une interface de programmation et une facturation à l'usage. Cette différence d'approche pourrait avoir des conséquences profondes.

Un article de recherche détaillé

L'annonce s'accompagne d'un article scientifique publié sur la plateforme de prépublications arXiv, sous le titre « LLaMA: Open and Efficient Foundation Language Models », signé par Hugo Touvron, Thibaut Lavril, Gautier Izacard, Guillaume Lample et une dizaine d'autres chercheurs de Meta (quatorze co-auteurs au total, selon la liste publiée sur arXiv). Ce document ne se contente pas d'annoncer des résultats : il expose la méthode, les données, les choix d'architecture et les mesures de performance. Cette transparence documentaire, courante dans la tradition scientifique mais loin d'être systématique pour les modèles les plus commerciaux, pourrait faire de l'article une référence largement citée.

L'article met en avant un principe d'honnêteté sur les données. Là où d'autres modèles s'appuient sur des corpus propriétaires et inaccessibles, LLaMA revendique un entraînement fondé exclusivement sur des ensembles de données publiquement disponibles.

Nous entraînons nos modèles sur des billions de tokens, et montrons qu'il est possible d'entraîner des modèles à l'état de l'art en utilisant exclusivement des jeux de données publiquement disponibles, sans recourir à des ensembles propriétaires et inaccessibles.
— Touvron et al., « LLaMA: Open and Efficient Foundation Language Models », arXiv, 2023

Ce parti pris a une portée qui dépasse la simple élégance méthodologique. Il signifie qu'un travail comparable, sur le plan des données, est en principe reproductible par d'autres équipes disposant de la puissance de calcul requise. La science avance quand ses résultats peuvent être vérifiés et rejoués ; en s'appuyant sur des corpus accessibles, LLaMA se place d'emblée dans cette logique.

Sous le capot : données publiques et architecture soignée

L'article détaille la composition du corpus d'entraînement, entièrement constitué de sources publiques. On y trouve des extraits du web collectés par le projet Common Crawl, l'ensemble de textes filtrés nommé C4, du code informatique issu de dépôts publics restreints aux licences permissives, des pages de l'encyclopédie Wikipédia, des ouvrages du domaine public, des articles scientifiques de la plateforme arXiv et des échanges de questions-réponses techniques. Ce mélange, majoritairement en anglais mais touchant une vingtaine de langues, a été assemblé et nettoyé avec soin, car la qualité des données pèse autant que leur quantité sur les capacités finales d'un modèle.

Du côté de l'architecture, LLaMA reste fidèle au Transformer, l'ossature commune à la génération de modèles issue de 2017, mais y intègre plusieurs raffinements sélectionnés pour leur effet bénéfique sur la stabilité de l'entraînement et la qualité du résultat. Le modèle emploie une normalisation dite RMSNorm, appliquée à l'entrée de chaque couche pour rendre l'apprentissage plus régulier ; une fonction d'activation nommée SwiGLU, qui affine la manière dont l'information circule dans le réseau ; et un encodage de position par rotation, connu sous le sigle RoPE, qui aide le modèle à tenir compte de l'ordre des mots. Aucune de ces briques n'est inédite prise isolément ; leur mérite tient à une sélection avisée et à un assemblage rigoureux. C'est un travail d'orfèvre plus que de rupture, et c'est précisément ce qui rend le résultat solide et reproductible.

Ce soin apporté à l'ingénierie pourrait expliquer pourquoi LLaMA servirait de socle à de nombreux projets. Une base propre, bien documentée et fondée sur des choix éprouvés offre un point de départ fiable à qui veut construire dessus. Les briques architecturales retenues par l'équipe pourraient d'ailleurs se répandre largement, au point de devenir des standards de fait pour toute une lignée de modèles ouverts qui apparaîtraient dans son sillage.

Le contexte : la course des grands modèles et la leçon de Chinchilla

LLaMA n'apparaît pas dans le vide. Il est la réponse réfléchie à une question qui agite le domaine depuis deux ans : à quoi sert-il d'entraîner des modèles toujours plus gros ? Pour saisir l'ampleur de la proposition de Meta, il faut remonter le fil des idées.

L'ère des modèles géants

Le point de départ moderne se situe en 2020, avec la publication par OpenAI de GPT-3, un modèle de 175 milliards de paramètres. GPT-3 avait démontré qu'en augmentant massivement la taille du modèle et la quantité de texte d'entraînement, on obtenait des capacités de génération de langage jusque-là inédites. Ce résultat avait déclenché une course à la taille : chaque laboratoire cherchait à construire le modèle le plus grand possible, dans la conviction que la performance suivrait mécaniquement le nombre de paramètres.

Cette course a produit des modèles impressionnants. Google a présenté PaLM, doté de 540 milliards de paramètres. D'autres institutions et entreprises ont dévoilé leurs propres géants. Mais cette démesure a un coût : entraîner et faire fonctionner de tels modèles exige une infrastructure de calcul que seules quelques organisations au monde peuvent réunir. La performance de pointe reste, de fait, le privilège d'un club restreint.

La rupture de Chinchilla

En 2022, une équipe du laboratoire DeepMind a publié un travail qui allait rebattre les cartes. Avec un modèle nommé Chinchilla, ces chercheurs ont montré que la plupart des grands modèles de l'époque étaient, en réalité, sous-entraînés : on avait privilégié la taille au détriment de la quantité de données. Leur conclusion, restée célèbre, était qu'à budget de calcul donné, il valait mieux entraîner un modèle plus petit sur beaucoup plus de tokens que de gonfler démesurément le nombre de paramètres. Chinchilla, avec 70 milliards de paramètres mais un entraînement bien plus copieux, surpassait des modèles plusieurs fois plus gros.

Cette découverte, connue sous le nom de « lois d'échelle de Chinchilla », posait une question dérangeante pour la course à la taille : et si l'on s'était trompé de curseur ? LLaMA prend cette leçon au mot, et la pousse plus loin encore. Là où Chinchilla optimisait le compromis entre taille et données pour un budget d'entraînement donné, l'équipe de Meta fait un choix supplémentaire : elle privilégie le coût de fonctionnement. Un modèle destiné à être exécuté un grand nombre de fois par la communauté doit être léger à l'usage, quitte à consacrer davantage d'efforts à son entraînement initial. On accepte de payer plus cher une fois, pour que chaque utilisation ultérieure soit plus économe.

Ce raisonnement éclaire le choix des tailles. En entraînant un modèle de 7 milliards de paramètres sur mille milliards de tokens — bien au-delà de ce que les lois d'échelle jugeraient strictement optimal pour l'entraînement — Meta obtient un modèle compact, facile à faire tourner sur une infrastructure modeste, et néanmoins remarquablement compétent. C'est exactement le profil dont la communauté de recherche a besoin.

Un domaine en pleine effervescence

Le calendrier compte aussi. LLaMA arrive moins de trois mois après le lancement de ChatGPT, en novembre 2022, qui a porté l'intelligence artificielle conversationnelle à l'attention du monde entier. L'intérêt du public et des investisseurs est à son sommet, la concurrence entre laboratoires s'intensifie, et la question de l'accès aux modèles de pointe devient un enjeu stratégique et scientifique majeur. Dans ce paysage, la plupart des modèles les plus capables restent fermés, accessibles seulement à travers des services payants et sans possibilité de les étudier de l'intérieur.

C'est dans cet interstice que LLaMA se glisse. En proposant à la communauté scientifique des modèles performants, documentés et adaptables, Meta répond à une frustration réelle des chercheurs, longtemps privés de la matière première nécessaire pour comprendre en profondeur le fonctionnement de ces systèmes. La proposition rencontre un besoin mûr.

Ce que ça change : un petit modèle qui rivalise avec les géants

Le résultat central de LLaMA tient en une phrase, et cette phrase fait déjà le tour du domaine. Dans l'article de recherche, les auteurs formulent une comparaison directe qui résume tout l'enjeu.

LLaMA-13B surpasse GPT-3 (175B) sur la plupart des bancs d'essai, et LLaMA-65B rivalise avec les meilleurs modèles, Chinchilla-70B et PaLM-540B.
— Touvron et al., « LLaMA: Open and Efficient Foundation Language Models », arXiv, 2023

Prenons la mesure de cette affirmation. Un modèle de 13 milliards de paramètres qui, sur la plupart des évaluations standard, fait aussi bien ou mieux qu'un modèle de 175 milliards, treize fois plus gros : voilà qui bouscule l'intuition selon laquelle la performance découlerait avant tout de la taille. Et le plus grand des LLaMA, avec ses 65 milliards de paramètres, se hisse au niveau de PaLM-540B, plus de huit fois plus volumineux. La démonstration est éclatante : bien entraîné, un modèle compact peut se mesurer aux mastodontes.

Il faut rester précis sur la portée de ces résultats. Les bancs d'essai en question mesurent des tâches spécifiques — raisonnement de sens commun, questions de culture générale, compréhension de lecture, résolution de problèmes — et aucune évaluation ne capture à elle seule toutes les dimensions d'un modèle. Un score supérieur sur une batterie de tests ne signifie pas une supériorité absolue en toute circonstance. Mais la tendance est nette et reproductible, et c'est elle qui comptera.

Une portée pratique immédiate

Au-delà de la prouesse comparative, la conséquence concrète est considérable. Un modèle de 13 milliards de paramètres peut fonctionner sur un matériel bien plus modeste qu'un modèle de 175 milliards. Là où les géants réclament des grappes de processeurs graphiques hors de portée de la plupart des laboratoires, un LLaMA de taille intermédiaire pourrait tourner sur une seule machine bien équipée, voire, pour les plus petites versions, sur du matériel grand public de bonne facture. Cette accessibilité matérielle transforme la donne : étudier, tester et adapter un grand modèle de langage cesserait d'être réservé à une poignée d'institutions.

Voici, en synthèse, ce que LLaMA apporte de nouveau par rapport à la plupart des modèles de pointe du moment :

• Une efficacité repensée — des modèles compacts, entraînés longuement, conçus pour être économes à l'usage plutôt que records en taille.
• Une documentation complète — un article de recherche détaillant méthode, données et résultats, dans la tradition scientifique de la reproductibilité.
• Des données publiques — un entraînement fondé exclusivement sur des corpus accessibles, sans ingrédient propriétaire secret.
• Un accès élargi à la recherche — des poids partagés avec la communauté scientifique, et non enfermés derrière un service payant.
• Une aptitude à l'adaptation — des modèles assez légers pour être réentraînés et spécialisés par des équipes aux moyens limités.

La question sensible de la diffusion des poids

C'est ici que l'histoire pourrait prendre un tour inattendu. Meta a prévu une distribution encadrée, réservée aux chercheurs approuvés. Mais dès les premiers jours, la mécanique d'un accès distribué à des fichiers aussi convoités soulève une interrogation évidente : que se passerait-il si ces poids venaient à circuler hors du cadre prévu ? La question n'est pas théorique. Diffuser des fichiers numériques à un ensemble de destinataires, même sélectionnés, expose toujours au risque qu'une copie s'échappe et se propage.

Cet enjeu appelle une lecture nuancée. D'un côté, un débordement du cadre contournerait l'accès voulu par Meta et soulèverait de vraies questions de gouvernance et de responsabilité. De l'autre, une disponibilité plus large pourrait avoir un effet d'accélération : en peu de temps, un grand nombre de personnes seraient en mesure de télécharger, exécuter et expérimenter un grand modèle de langage de pointe sur leurs propres machines. Ce qui ne toucherait qu'un cercle de chercheurs approuvés pourrait atteindre une communauté bien plus vaste de passionnés, d'ingénieurs et d'universitaires. L'élan qui en résulterait pourrait dépasser tout ce qui est aujourd'hui prévisible.

Vers une possible explosion de la communauté

Si les poids venaient à être largement disponibles, on peut imaginer qu'une effervescence sans précédent s'emparerait de la communauté. En peu de temps, des projets pourraient fleurir pour affiner LLaMA, l'optimiser, le faire tourner sur des configurations de plus en plus modestes, et l'orienter vers des usages variés. Le principe même d'un modèle compact et documenté invite à ce foisonnement : chacun peut, à partir de la même base, tenter sa propre spécialisation.

On mesure déjà la logique qui pourrait s'enclencher. Partir d'un modèle ouvert de petite taille, puis l'affiner sur un jeu réduit d'exemples d'instructions et de réponses, pourrait suffire — pour un coût de calcul modeste — à obtenir un assistant utilisable. Si cette recette se confirmait, elle démontrerait qu'à partir d'un modèle compact librement diffusé, une spécialisation peu coûteuse ouvrirait la porte à d'innombrables dérivés. La perspective est vertigineuse : un socle unique, et une multitude de variantes façonnées par des équipes du monde entier, chacune répondant à un besoin particulier.

Repère	Élément	Détail
Annonce de LLaMA	24 février 2023	Quatre modèles : 7B, 13B, 33B, 65B, accès recherche sur demande
Volumes d'entraînement	Communiqués par Meta	65B et 33B sur 1,4 billion de tokens ; 7B sur mille milliards de tokens
Comparaison clé	Article arXiv	LLaMA-13B surpasse GPT-3 (175B) sur la plupart des bancs d'essai
Nature de l'accès	Licence non commerciale	Poids réservés aux chercheurs, au cas par cas, sur demande
Données d'entraînement	Sources publiques	Common Crawl, C4, Wikipédia, arXiv, code sous licence permissive

Les perspectives : vers un possible écosystème de modèles ouverts

À l'instant où il paraît, le 24 février 2023 pourrait apparaître comme une date fondatrice. Non parce que LLaMA serait le tout premier modèle diffusé — d'autres modèles ont déjà été partagés auparavant — mais parce qu'il pourrait être le premier modèle de ce niveau de performance à se retrouver entre les mains d'une communauté aussi vaste, avec des résultats aussi convaincants. Ce point de rencontre possible entre une qualité de pointe et un accès élargi pourrait enclencher une dynamique difficile à arrêter.

Une stratégie d'ouverture qui pourrait s'affirmer

Si Meta tirait les enseignements de cette aventure, on pourrait imaginer qu'elle fasse de l'ouverture une orientation assumée. Rien ne garantit encore la suite, mais la logique semble tracée : un premier modèle diffusé à la recherche pourrait, s'il rencontrait le succès escompté, appeler des versions ultérieures, sans doute mieux encadrées juridiquement, peut-être élargies à des usages plus larges que la seule recherche. La cadence des publications dans ce domaine est rapide, et l'on peut anticiper que la question d'un usage plus ouvert, y compris pour bâtir des produits, se poserait tôt ou tard.

Ce qui rendrait une telle lignée intéressante, c'est le fil conducteur qu'elle pourrait maintenir : diffuser des modèles téléchargeables, adaptables, utilisables par le plus grand nombre. Si cette continuité se confirmait, elle ferait de la famille des modèles ouverts de Meta l'une des références possibles de l'intelligence artificielle en accès partagé, et l'un des piliers autour desquels pourrait s'organiser tout un pan de l'industrie. Mais, à ce stade, tout cela reste de l'ordre de la perspective : c'est ce jour de février 2023 qui en pose la première pierre.

Un écosystème mondial de poids ouverts en germe

L'héritage le plus profond de LLaMA ne sera peut-être pas un modèle particulier, mais la légitimation possible d'une manière de faire. En s'efforçant de prouver qu'un modèle compact, bien entraîné et librement diffusé peut rivaliser avec les plus gros systèmes fermés, LLaMA valide l'idée que l'ouverture n'est pas synonyme de médiocrité. Cette démonstration pourrait encourager d'autres acteurs à emprunter la même voie.

On peut imaginer que, dans les mois et les années à venir, un véritable écosystème de modèles en accès ouvert se structure à l'échelle mondiale. Des acteurs de premier plan pourraient publier leurs propres familles de modèles librement téléchargeables, chacun avec ses partis pris et ses points forts. Rien n'est joué, mais la dynamique amorcée par LLaMA rend ce scénario plausible.

• Les grands laboratoires industriels pourraient être tentés de diffuser des modèles ouverts pour fédérer une communauté autour de leurs travaux, à l'image de ce que fait Meta aujourd'hui.
• De nouveaux acteurs, y compris en Europe, pourraient émerger et proposer des modèles compétitifs en accès ouvert, contribuant à diversifier géographiquement l'offre.
• Des laboratoires universitaires, désormais capables d'étudier et d'adapter de grands modèles, pourraient publier des variantes de plus en plus performantes.
• Des plateformes de partage de modèles pourraient devenir des places publiques où se rencontreraient créateurs et utilisateurs, accélérant la circulation des avancées.

Une telle diversité serait une bonne nouvelle pour les usages. Un modèle que l'on peut télécharger et exécuter localement offre des propriétés précieuses : maîtrise des données, indépendance vis-à-vis d'un fournisseur unique, possibilité d'adaptation fine à un métier ou à une langue, et fonctionnement sans connexion permanente à un service distant. Pour les entreprises soucieuses de la confidentialité de leurs informations, pour les administrations attachées à leur souveraineté technologique, pour les chercheurs désireux d'inspecter le fonctionnement d'un système, les poids ouverts ouvriraient des perspectives que les seuls services fermés ne peuvent couvrir.

Un débat sur le sens du mot « ouvert »

Il serait malhonnête de passer sous silence une discussion qui accompagne déjà cette annonce. La licence de LLaMA, si elle autorise l'usage de recherche, l'assortit de conditions qui la distinguent des licences dites « libres » au sens strict retenu par les tenants du logiciel ouvert. On peut prévoir que, si d'autres modèles suivaient une voie comparable, la même question se poserait à leur sujet : dans quelle mesure le terme « open source » s'appliquerait-il rigoureusement à des modèles librement téléchargeables mais assortis de règles d'utilisation ? Une expression plus juste, comme « poids ouverts », pourrait s'imposer pour désigner cette catégorie intermédiaire.

Cette clarification terminologique, si elle advenait, n'enlèverait rien à l'apport de LLaMA. Elle témoignerait au contraire de la maturité d'un débat que le modèle contribue lui-même à ouvrir. En posant concrètement la question — que signifie rendre un modèle accessible, et à quelles conditions ? — LLaMA nourrit une réflexion collective sur la gouvernance des technologies de pointe, réflexion qui pourrait se poursuivre longtemps et participer à installer un cadre de confiance.

Une leçon d'ingénierie et de stratégie

Le cas LLaMA pourrait être étudié comme un exemple de la manière dont un choix technique bien pensé peut ouvrir un espace nouveau. Sa force ne tient pas à une percée scientifique isolée : les architectures, les méthodes d'entraînement et les jeux de données existaient pour l'essentiel. Elle tient à une combinaison judicieuse — la leçon de Chinchilla poussée jusqu'à privilégier le coût de fonctionnement, un entraînement long sur des données publiques, une documentation transparente, et une diffusion tournée vers la communauté scientifique.

Cette leçon dépasse le seul domaine des modèles de langage. Elle rappelle qu'une innovation ne se mesure pas seulement à sa prouesse brute, mais à sa capacité à se rendre appropriable par d'autres. En mettant entre les mains d'une communauté mondiale un modèle assez compact pour être exécuté sans moyens démesurés, et assez performant pour mériter qu'on s'y attelle, Meta invente moins une technologie qu'elle ne crée peut-être les conditions d'une floraison. La suite — quels que soient les projets, les dérivés et les nouveaux acteurs qui pourraient en naître — reste à écrire, mais la semence est là.

Un modèle compact, une ouverture à construire

Au moment où paraît LLaMA, sa portée se lit dans une promesse qui pourrait, si elle se réalisait, devenir une évidence pour une partie du secteur : télécharger un modèle de langage de qualité, l'exécuter sur sa propre infrastructure, l'adapter à ses besoins, et bâtir dessus sans dépendre d'un service unique. Cette liberté d'usage, encore inhabituelle en ce début 2023, pourrait structurer une part entière de l'innovation en intelligence artificielle.

LLaMA cherche à démontrer qu'un modèle plus compact, patiemment entraîné, peut se hisser au niveau de systèmes bien plus volumineux — et que le partager avec la communauté scientifique, loin de diluer sa valeur, pourrait en démultiplier la portée. La manière dont ses poids circuleront, et la façon dont Meta prolongera ou non cette ouverture, restent à ce jour des questions ouvertes. De cet enchaînement pourrait sortir un écosystème mondial de modèles ouverts, source de choix, d'indépendance et d'émulation pour les entreprises, les chercheurs et les États.

Reste que l'histoire ne fait que commencer. Les modèles ouverts pourraient continuer de progresser, les licences de se préciser, les questions de gouvernance et de responsabilité de se poser avec sérieux. Le 24 février 2023 ne referme pas un chapitre : il en ouvre un, celui d'une intelligence artificielle de pointe qui pourrait se partager et se construire à plusieurs mains. Ce que ce jour tend à prouver, c'est qu'ouvrir un grand modèle à la recherche pourrait, en peu de temps, faire éclore une communauté entière — et que la performance et l'ouverture, loin de s'opposer, pourraient marcher ensemble.

Sources

• Meta AI — « Introducing LLaMA: A foundational, 65-billion-parameter language model » (annonce officielle, 24 février 2023)
• Touvron et al. — « LLaMA: Open and Efficient Foundation Language Models » (arXiv 2302.13971, 2023)
• Hoffmann et al. — « Training Compute-Optimal Large Language Models » (Chinchilla, arXiv 2203.15556, 2022)
• Brown et al. — « Language Models are Few-Shot Learners » (GPT-3, arXiv 2005.14165, 2020)
• Vaswani et al. — « Attention Is All You Need » (Transformer, arXiv 1706.03762, 2017)
• Chowdhery et al. — « PaLM: Scaling Language Modeling with Pathways » (arXiv 2204.02311, 2022)