La commoditisation des modèles et le harnais

La scène se reproduit entre toutes les deux semaines, et tous les mois, et le scénario est toujours le même. L’annonce impromptue de la sortie du dernier modèle frontière, par Anthropic, OpenAI, Google, ou Meta (au choix). S’ensuit alors la même réaction en cascade. C’est l’affolement général sur la toile. Déjà LinkedIn grouille de posts partageant fièrement “je fais partie des rares privilégiés qui a pu le tester, et je vous le dis, c’est ce modèle le meilleur”. Youtube n’est pas en reste, et rapidement des centaines de vidéos sont postées, chacune portant haut un titre toujours plus putaclic, tel que “Cette IA va nous détruire”, “C’est la fin”, “La course aux LLMs est terminée”.

Voilà de quoi nous faire réfléchir, voire même nous effrayer. Et surtout, comment passer à côté d’une telle avancée technologique ? C’est la réaction naturelle, ce que l’on appelle le FOMO, et de mon humble avis, c’est véritablement ça le piège dans lequel il est dangereux de tomber aujourd’hui.

Il n’est pas évident de savoir quelles métriques utiliser aujourd’hui pour comparer des IA. A la question “qui est le plus fort ? Anthropic ou OpenAI ?”, nous sommes bien démunis. Alors on compare le nombre de paramètres, on fait passer les LLMs sur des bench toujours plus pointus, pour savoir lequel des modèles passera devant l’autre.

Mais tout ceci a-t-il un sens ?

Si l’on fait une comparaison avec le monde de l’automobile, on comprend aisément que la formule 1 qui gagne un grand prix n’est pas celle qui a le moteur le plus puissant. Le moteur a son importance, certes, mais c’est aussi l’aérodynamisme de la voiture, les pneus, la course de l’embrayage, et (accessoirement) la sagacité du pilote.

Ce qui fait la performance d’une F1, c’est donc la qualité et l’assemblage de tous ses composants, plus que uniquement son moteur.

Il en est exactement de même avec un système agentique. Un système IA, c’est évidemment un (ou plusieurs) LLMs, mais la performance d’un système IA, c’est aussi (et surtout) la gestion du contexte, de la mémoire, les outils, l’orchestration, l’expérience produit, les garde-fous, la sécurité, etc. Ainsi, donner tout le crédit au LLM se révèle bien injuste. Ce qui confère à un système agentique sa performance, c’est tout ce qu’il y a autour. Cette nébuleuse de technologies qui entoure les agents, c’est ce que l’on appelle le harnais.

Une fois que le harnais a été mis en place, l’enjeu pour les équipes pour construire le meilleur produit, ce n’est pas de choisir le modèle le plus puissant (ce serait trop simple), mais plus précisément de trouver le modèle qui offrira le meilleur compromis entre la performance, le coût, la latence. Voilà qui revient en réalité à trouver le modèle qui répond le mieux à une tâche précise.

Ainsi, l’enjeu pour les équipes de développement, c’est de mettre en place un système qui exploite au mieux les performances des LLMs, en passant de l’un à l’autre pour chaque tâche donnée. Comme pour une formule 1, la performance de la machine ne se trouve pas dans son moteur, mais dans le système qui exploite ses capacités avec le meilleur rendement.

Prenons un autre exemple un peu caricatural. Considérons un agent dont le rôle est de router une demande vers 3 autres agents au choix. Quelle sera la meilleure stratégie ? Utiliser un modèle généraliste haut de gamme qui va coûter 10$/MTokens, qui est capable de tout faire mais qui ne sera sollicité que pour faire du routage de demande ? Face à une demande aussi simple, il serait sans doute plus judicieux de confier la tâche à un modèle plus petit, qui va coûter 0.01$/MToken, qui certes ne sera pas capable de réciter du Shakespeare, mais dont les capacités seront déjà bien suffisantes pour orienter une demande entre 2 agents.

Faire passer les modèles au second rang dans un système agentique, et se permettre de switcher d’un modèle à un autre de façon purement arbitraire, c’est ce que l’on appelle la commoditisation des modèles. La commoditisation des LLMs, cela revient à placer les LLMs au second rang, à leur enlever ce sacré qui fait que l’on les place en général au coeur des systèmes, et à les considérer comme des outils interchangeables, en concédant que le LLM n’est pas LA performance, mais qu’il y contribue.

Ceci pose donc la question de savoir quel outil va se placer au centre de l’échiquier. C’est précisément la “réponse” qu’apporte la notion de harnais. En parlant de harnais, on met en avant non pas un outil (ce serait ici aussi trop simple), mais la composition des outils qui tous indépendamment occupent un rôle précis, mais qui assemblés créent le produit et apportent de la valeur. Et c’est véritablement sur ce point que doivent aussi se concentrer les entreprises aujourd’hui.

Comment le système est sécurisé, comment les utilisateurs sont authentifiés, comment le workflow est monitoré, comment le budget est suivi, comment les décisions sont-elles prises ? La réponse à ces questions, ce sont tous les outils et les méthodes qui ensemble forment le harnais, et qui permettent de proposer un produit qui est compatible avec le SI de l’entreprise, aligné avec la stratégie des dirigeants, et qui répond aux besoins des utilisateurs.

J’aurai évidemment l’occasion de revenir sur cette question de harnais, mais pour l’heure, si vous ne deviez retenir qu’un message de mon article, c’est celui-ci:

L’important, ce n’est pas le modèle. Celui-ci est en train de se commoditiser. L’important, c’est la harnais. C’est à cet endroit que se trouve la vraie valeur d’un système agentique, et c’est ici que doivent se concentrer les entreprises pour créer les meilleurs produits augmentés avec l’IA.