Age of LLM : quand les IA jouent à la guerre, que mesure-t-on vraiment ?

::youtube{id="Ec-CV1uzyVY"}

Un benchmark IA qui ressemble à un jeu, mais qui teste bien plus que le jeu

Age of LLM se présente comme un benchmark stratégique en 1v1. Deux modèles de langage reçoivent l’état du jeu, choisissent leurs actions, puis avancent tour après tour dans un duel où l’objectif est de détruire la base adverse. La documentation publique décrit un jeu au tour par tour, avec victoire par bombe nucléaire ou par conquête militaire, classement par points, brouillard de guerre, diplomatie et mesure du taux d’actions illégales.

Ce dernier indicateur est presque plus intéressant que le classement lui-même. Un modèle peut être brillant en conversation et pourtant proposer une action impossible dès qu’on le place dans un système contraint. Dans un chat, l’erreur peut rester floue. Dans un jeu, elle devient mécanique : l’action passe ou ne passe pas.

C’est là que le benchmark devient intéressant pour les joueurs. Un jeu de stratégie n’évalue pas seulement la capacité à produire une bonne réponse. Il force une suite de décisions liées entre elles : explorer, économiser, attaquer, temporiser, bluffer, défendre, anticiper. Autrement dit, il teste une forme de longévité décisionnelle. Le modèle doit rester cohérent plus longtemps qu’une simple réponse de quelques paragraphes.

Ce que le classement raconte vraiment

Le leaderboard d’Age of LLM ne doit pas être lu comme une vérité définitive sur “le meilleur modèle”. Il affiche des métriques utiles, mais dépendantes d’un environnement précis : nombre de victoires, type de victoire, temps moyen de réflexion, tokens consommés par tour et taux d’actions invalides. Ces données évoluent avec les versions, les modèles testés et les conditions de match ; elles doivent donc être lues comme un état du benchmark à un moment donné, pas comme un classement universel.

Cette lecture change tout. Un modèle peut gagner parce qu’il est meilleur stratège, mais aussi parce qu’il prend plus de temps, consomme plus de tokens, ou parce que l’environnement lui convient particulièrement. À l’inverse, un modèle rapide peut sembler plus “réactif” tout en accumulant davantage d’actions invalides.

Pour un joueur, c’est assez intuitif. Une bonne IA de stratégie ne se juge pas uniquement à son taux de victoire. On regarde aussi sa manière de gagner : est-elle agressive ? prudente ? capable de revenir après un mauvais départ ? dépendante d’un seul plan ? incapable de s’adapter quand l’adversaire change de tempo ?

Age of LLM pose exactement ce genre de questions, mais appliquées aux modèles de langage.

Pourquoi le jeu vidéo est un meilleur révélateur que beaucoup de tests textuels

Les benchmarks textuels classiques ont un défaut : ils donnent souvent l’impression qu’un modèle comprend mieux qu’il ne comprend réellement. Une réponse peut être fluide, bien structurée, presque convaincante, tout en reposant sur une logique fragile.

Le jeu vidéo réduit cette marge de camouflage. Si le modèle ignore une menace, construit trop tard, gaspille une ressource ou lance une attaque mal préparée, le résultat finit par apparaître. Il ne suffit plus d’expliquer une stratégie. Il faut l’exécuter.

C’est ce qui rend les jeux de stratégie précieux comme environnements de test. Ils imposent quatre contraintes rarement réunies dans les benchmarks textuels :

• une décision dépend des décisions précédentes ;
• l’information disponible est incomplète ;
• l’adversaire réagit ;
• l’erreur a un coût observable.

Age of LLM cherche précisément à exploiter ce type de contraintes : brouillard de guerre, mémoire, diplomatie, dissuasion nucléaire et absence de conseil stratégique donné aux modèles. Sa présentation officielle insiste aussi sur l’idée de tester les modèles sous pression, dans un cadre où l’incertitude, le bluff et les conséquences des actions comptent davantage qu’une simple réponse textuelle.

Ce n’est donc pas un test de “culture générale IA”. C’est un test de comportement sous pression.

Le piège : croire qu’une IA qui gagne “pense” comme un humain

La tentation est évidente : si une IA construit une économie, prépare une attaque, bluffe son adversaire et gagne par timing, on a envie de dire qu’elle raisonne comme un joueur. C’est compréhensible. Mais c’est aussi le piège.

Le chercheur Adrian de Wynter a publié en 2026 un papier au titre volontairement provocateur : If LLMs Have Human-Like Attributes, Then So Does Age of Empires II. Son argument n’est pas de dire que les LLM n’ont aucune capacité intéressante, mais que les attributs “humains” qu’on leur prête sont souvent mal définis, non uniques et trop dépendants de l’interprétation de l’observateur. Il défend donc l’idée de critères de mesure explicites plutôt que de conclusions impressionnistes.

C’est une mise en garde très utile pour lire Age of LLM. Le benchmark peut être passionnant sans prouver qu’un modèle “comprend” la guerre, la peur, le bluff ou la stratégie au sens humain. Il montre plutôt comment un système composé d’un modèle, d’une interface, d’un résumé d’état, de règles et d’une boucle d’action se comporte dans un cadre contraint.

C’est moins spectaculaire. Mais c’est beaucoup plus intéressant.

Le vrai sujet n’est pas le LLM seul, mais l’agent complet

Un point est souvent oublié : un LLM ne voit pas un jeu comme un joueur humain. Il ne regarde pas directement la carte, ne sent pas le rythme de la partie, ne manipule pas l’interface avec une souris. Il reçoit une représentation textuelle ou structurée de la situation, puis répond avec des actions que le moteur accepte ou refuse.

La performance ne vient donc pas seulement du modèle mais dépend aussi de l’interface entre le jeu et le modèle : quelles informations sont données ? avec quel niveau de détail ? sous quelle forme ? quelle mémoire est conservée ? quelles erreurs sont filtrées ? quelles actions sont possibles ?

Age of LLM devient alors moins un test de “l’intelligence pure” des LLM qu’un test d’architecture agentique. Le modèle de langage est une pièce du système, pas tout le système. Autour de lui, il faut une mémoire, un format d’observation, des règles d’action, parfois des garde-fous, parfois un adversaire de référence.

La documentation du projet, dans le README GitHub, confirme d’ailleurs cette logique d’évaluation : la version v0.13.0 a introduit ChampionAgent, un adversaire scripté, déterministe et fixe, pensé pour réduire la variance d’un match “LLM vs Champion” et rendre les résultats plus fiables qu’un duel entre deux modèles non déterministes.

Age of LLM s’inscrit dans une vague plus large de benchmarks d’agents

Age of LLM n’arrive pas dans le vide. Depuis quelques années, la recherche essaie de mieux évaluer les LLM non plus seulement comme générateurs de texte, mais comme agents capables d’agir dans des environnements interactifs.

AgentBench, publié en 2023, va précisément dans ce sens : le benchmark évalue des LLM comme agents dans plusieurs environnements, avec des tâches multi-tours où le modèle doit raisonner, décider et suivre des instructions dans la durée. Les auteurs soulignent aussi des causes fréquentes d’échec : raisonnement long terme insuffisant, mauvaise prise de décision et suivi imparfait des consignes.

Age of LLM en est une version plus ludique, plus lisible pour les joueurs, mais aussi plus spécialisée. Ses résultats ne disent pas automatiquement ce qu’un modèle ferait dans la cybersécurité, la logistique, le trading ou un outil professionnel. Ils disent ce qu’il fait dans cet environnement, avec cette interface, ces règles, ces métriques et ces adversaires.

C’est une limite importante. Mais ce n’est pas une faiblesse. Un bon benchmark ne prouve pas tout ; il rend certaines choses observables.

Pourquoi cela parle aussi de durée de vie des jeux

Pour Durée de vie, l’intérêt du sujet dépasse la pure actualité IA. Age of LLM rappelle que les jeux de stratégie ont une longévité particulière parce qu’ils ne reposent pas seulement sur du contenu à consommer. Ils reposent sur des systèmes.

Un jeu narratif linéaire peut être terminé une fois, puis rangé. Un jeu de stratégie, lui, peut produire des situations nouvelles pendant des années : cartes différentes, timings différents, adversaires différents, erreurs différentes. C’est cette capacité à générer des scénarios qui en fait un terrain idéal pour tester des agents IA.

La durée de vie d’un jeu ne se mesure donc pas seulement en heures de campagne, en trophée platine ou en pourcentage de complétion. Elle peut aussi venir de la profondeur de ses règles. Un bon système stratégique continue de produire du sens longtemps après la première partie.

Age of LLM exploite cette propriété. Le jeu devient un laboratoire, non parce qu’il est beau ou spectaculaire, mais parce qu’il crée un espace où les décisions s’enchaînent et où les conséquences s’accumulent.

Ce que les joueurs devraient regarder dans ce type de benchmark

Le classement est amusant à consulter, mais ce n’est pas forcément l’élément le plus instructif. Pour comprendre ce que vaut une IA dans un jeu de stratégie, il faut regarder plusieurs couches.

Le taux de victoire

C’est le signal le plus simple. Il indique quels modèles gagnent le plus souvent dans les conditions actuelles du benchmark. Mais seul, il peut être trompeur.

Le type de victoire

Une IA qui gagne surtout par bombe nucléaire ne démontre pas forcément la même capacité qu’une IA qui sait alterner économie, attaque militaire, défense et négociation. Dans Age of LLM, les conditions de victoire et les issues de match sont suffisamment différentes pour permettre cette lecture.

Le coût de la décision

Un modèle qui prend plusieurs minutes et consomme beaucoup de tokens par tour n’a pas le même profil qu’un modèle plus rapide et moins coûteux. Dans un benchmark, c’est une information secondaire. Dans une application réelle, cela peut devenir central : latence, coût économique, scalabilité, fiabilité opérationnelle.

Le taux d’actions invalides

C’est l’un des meilleurs indicateurs de robustesse. Une IA qui propose souvent des actions impossibles ne maîtrise pas pleinement l’environnement, même si elle peut parfois gagner.

La stabilité sur plusieurs parties

Une partie isolée ne prouve pas grand-chose. Un modèle peut tomber sur une configuration favorable, exploiter une faille du système ou réussir un plan très spécifique. Le README du projet recommande lui-même de ne pas tirer de conclusion d’un seul match et suggère d’utiliser plusieurs parties, idéalement avec les modèles jouant dans les deux positions pour réduire certains biais.

Pour un joueur de stratégie, cela ressemble à une évidence : on ne juge pas une IA sur un seul rush réussi. On la juge sur sa capacité à varier, à encaisser, à s’adapter et à ne pas refaire la même erreur dès que la partie dure.

Ce que cela dit de l’IA en 2026

Age of LLM ne prouve pas que les IA deviennent des stratèges humains. Il montre quelque chose de plus mesurable : certains modèles commencent à être testés dans des environnements où parler ne suffit plus.

C’est un changement important. Dans un jeu, le modèle ne peut pas seulement produire une justification élégante. Il doit choisir une action, puis vivre avec ses conséquences. Ce passage de la réponse à l’exécution est exactement ce qui sépare un chatbot d’un agent.

Mais c’est aussi là que les limites apparaissent. Comme dans d’autres benchmarks d’agents, on peut s’attendre à voir des échecs liés au raisonnement long terme, à la mauvaise interprétation d’une contrainte, au suivi imparfait des règles ou à une décision devenue incohérente après plusieurs tours. AgentBench identifie justement le raisonnement long terme, la décision et le suivi d’instructions comme des obstacles majeurs pour les agents LLM.

Age of LLM devient alors utile non parce qu’il sacre un champion, mais parce qu’il rend ces échecs visibles.

C’est peut-être la meilleure manière de le regarder : non comme une preuve d’intelligence générale, mais comme une fenêtre sur la façon dont les IA agissent quand on les sort du confort de la conversation.