StateBench : ce que ça change pour la superintelligence

Avancées technologiques · 5 novembre 2026

StateBench est un nouveau benchmark IA publié le 3 novembre 2026 par Ai2 (Allen Institute for AI). Il mesure si un modèle suit correctement des valeurs qui changent au fil d'un long document. Résultat : même Claude Opus 5.5, GPT-6 Sol et Gemini 3.8 Flash tombent à 13 % ou moins sur les tâches les plus dures. Un enjeu direct pour la superintelligence.

StateBench, c'est quoi ce benchmark IA ?

Imaginez le jeu du bonneteau : une balle sous trois gobelets, que l'on échange plusieurs fois. Pour savoir où est la balle, il faut suivre chaque échange dans l'ordre. C'est ce qu'on appelle le suivi d'état (« state tracking ») : garder à jour, au fil d'un texte, la valeur de variables qui changent.

StateBench, présenté par Ai2 sur son blog, teste cette capacité dans de longs documents. Les problèmes ont tous le même nombre de variables et de positions de modification ; seul le type de modification change. Le benchmark s'appuie sur une théorie mathématique (Krohn-Rhodes) qui classe ces problèmes en quatre niveaux de difficulté. Les données et le code sont publiés en accès libre sur Hugging Face et GitHub.

Les quatre niveaux de difficulté

Que montrent les résultats sur les LLM ?

Ai2 a testé deux familles de modèles.

• Les modèles de pointe (Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna) réussissent bien les deux premiers niveaux. Sur les niveaux « soluble » et « fini général », leur précision chute fortement quand le document s'allonge, jusqu'à 13 % ou moins sur les plus longs problèmes du niveau le plus dur. Ai2 avance une explication probable : la réponse dépend de très nombreuses étapes, et une seule erreur suffit à la fausser.
• Les modèles ouverts d'Ai2 (Olmo 3 et Olmo Hybrid, 7 milliards de paramètres, entraînés sur les mêmes données) réussissent presque tous le niveau trivial, perdent en précision sur le niveau apériodique et restent au niveau du hasard sur le niveau le plus dur.

Un détail frappant : de petits modèles qui obtiennent des scores proches du maximum sur des tests classiques de « l'aiguille dans une botte de foin » tombent au niveau du hasard quand le même problème est présenté comme des modifications de tableur. Les tests de longue mémoire habituels surestiment donc la compréhension réelle.

Transformers contre Gated DeltaNet : l'architecture compte-t-elle ?

La plupart des grands modèles reposent sur l'architecture transformer. La théorie prédit qu'elle ne peut pas résoudre, en général, le niveau le plus dur : un résultat connu de la recherche, développé notamment dans l'article « The Illusion of State in State-Space Models » (Merrill et al., 2024). Gated DeltaNet, une architecture récurrente dont la mémoire se met à jour de façon plus souple (Yang et al., 2024), peut en principe traiter les quatre niveaux.

Pour le vérifier, Ai2 a entraîné de petits modèles (275 millions de paramètres) directement sur ces tâches, avec des séquences de 256 modifications au plus, puis les a testés sur des séquences jusqu'à 64 000 modifications, soit environ 250 fois plus longues :

• les modèles Gated DeltaNet et hybrides généralisent presque parfaitement sur les trois premiers niveaux ;
• les transformers apprennent les niveaux faciles mais se dégradent sur les longues séquences, et n'apprennent jamais le niveau le plus dur ;
• la variante de Gated DeltaNet la plus souple reste quasi parfaite sur le niveau le plus dur jusqu'à environ 10 fois sa longueur d'entraînement.

Conclusion d'Ai2 : pour les modèles récurrents et hybrides, la limite tient souvent à l'entraînement plus qu'à l'architecture. Pour les transformers, la limite semble plus profonde.

Ce que ça change pour la superintelligence

Suivre un état qui évolue est indispensable pour un agent IA qui travaille longtemps seul : tenir à jour un code de plusieurs milliers de fichiers, un dossier juridique ou une comptabilité. StateBench apporte trois enseignements :

• Une faiblesse mesurable des meilleurs modèles. Comme le benchmark GDPx présenté le 3 novembre, il rappelle que les IA de pointe restent loin d'une fiabilité humaine sur des tâches longues.
• Une piste d'amélioration concrète. Les architectures hybrides, qui mélangent attention et couches récurrentes, pourraient lever une partie de cette limite. C'est un indice, pas une preuve : les tests à grande échelle restent à faire.
• Un outil de mesure du progrès vers l'IA générale. Une intelligence artificielle générale devra suivre des situations complexes sans perdre le fil. Un benchmark ouvert et fondé sur la théorie permet de suivre ce point précis dans le temps.

StateBench ne dit rien d'une date d'arrivée de la superintelligence. Il mesure une compétence précise ; les prévisions sur l'IA générale restent des prévisions, discutées dans notre guide super intelligence artificielle : quand arrivera-t-elle ?

Les questions encore ouvertes

Ai2 liste plusieurs pistes : la place exacte de certaines variantes de Gated DeltaNet dans la hiérarchie théorique, l'effet de la précision numérique et de la combinaison avec l'attention, et l'extension à des situations où de nouveaux éléments apparaissent en cours de route, plus proches de la vie réelle.

FAQ : StateBench et benchmark IA

Conclusion

StateBench montre que les meilleurs LLM perdent encore le fil sur de longues séquences de changements, et que l'architecture des modèles pourrait faire partie de la solution. Retrouvez les autres percées sur Avancées IA et les notions de base dans la FAQ.