L'IA apprend à vérifier son travail — enfin.

Un cadre structuré double le taux de réussite des agents IA sur ordinateur

Imaginez un assistant qui oublie systématiquement ce qu'il vient de faire à chaque nouvelle étape — c'est exactement le problème que StructAgent prétend avoir résolu.

Les agents IA qui opèrent sur un ordinateur — remplir des formulaires, naviguer dans des interfaces, enchaîner des actions sur plusieurs minutes — ont un défaut bien connu : ils perdent le fil. Comme quelqu'un qui cuisine un plat complexe sans jamais jeter un œil à ce qui est déjà dans la casserole, ils recommencent à zéro à chaque étape au lieu de s'appuyer sur ce qu'ils viennent d'accomplir. StructAgent, présenté cette semaine sur arXiv, introduit ce que les auteurs appellent une représentation causale unifiée de l'état de la tâche — en clair, une « liste de courses » structurée qui garde trace de ce qui est confirmé, ce qui reste à faire, et ce qui a échoué. À chaque action, un module vérifie que la transition est cohérente avant de passer à la suite. Les chiffres sont nets. Sur OSWorld-Verified — un benchmark standard où un agent doit réaliser des tâches informatiques dans un environnement simulé — le modèle Qwen3.5-9B passe de 27 % à 46,9 % de tâches réussies. Le modèle plus puissant, Qwen3.5-27B, passe de 31,6 % à 62,2 %. Avec MiniMax-M3, le système atteint 78,9 %, ce que les auteurs revendiquent comme la meilleure performance open-source connue sur ce benchmark. Le hic, soyons honnêtes : ces résultats viennent d'un seul benchmark, évalué par l'équipe qui a construit le système. On ne sait pas encore si la généralisation tient sur des tâches vraiment ouvertes, dans des conditions que les auteurs n'ont pas contrôlées. Et les gains varient beaucoup selon le modèle de base — ce qui suggère que la structure aide surtout quand le modèle a déjà une capacité de raisonnement minimale. Un vrai pas, mais à confirmer en dehors du labo.

Un modèle vidéo peut donner la bonne réponse sans avoir vraiment regardé

Votre modèle d'IA vient de répondre correctement à une question sur une vidéo — mais a-t-il vraiment regardé, ou a-t-il juste bien deviné ?

Des chercheurs ont publié cette semaine un résultat qui devrait rendre prudent quiconque fait confiance aux réponses visuelles des grands modèles de langage. Leur point de départ est une question simple : est-ce qu'un modèle peut non seulement répondre à une question sur une vidéo, mais aussi montrer exactement quels moments et quels objets dans la vidéo justifient sa réponse ? Pensez à un tribunal. Un bon avocat ne dit pas juste « mon client est innocent » — il apporte les preuves, il les pointe. Les modèles vidéo actuels, eux, donnent le verdict sans jamais produire la pièce à conviction. L'équipe a construit ST-Evidence, un benchmark en deux formats — réponse libre et choix multiples — qui oblige les modèles à localiser temporellement et spatialement les éléments visuels qui fondent leur réponse. Ce qu'ils ont trouvé est troublant : la plupart des modèles open-source testés performent presque au niveau du hasard sur la partie « preuves », même quand leur taux de bonnes réponses aux questions est honorable. Bonne réponse et compréhension réelle de la vidéo sont deux choses différentes — et l'écart est bien plus grand qu'on ne le croyait. Encore plus inquiétant : quand les auteurs ont soumis 15 images manifestement cassées à un modèle d'évaluation visuel, celui-ci en a noté 14 comme « parfaites ». Les auteurs ont aussi construit ST-Evidence-Instruct, un dataset de 160 000 exemples pour entraîner des modèles à ce nouvel objectif. Fine-tuner UniPixel-7B dessus donne +27 points de localisation temporelle et +14 points de précision spatiale. Encourageant — mais le message principal du papier reste celui-là : « répondre juste » n'est pas une garantie de « voir juste ».

Faire tester son code dans un vrai terminal bat de loin 'réfléchir plus longtemps'

Relire sa recette dix fois n'est pas pareil que goûter le plat — et une équipe vient de montrer que l'IA apprend enfin cette leçon.

Il existe deux façons classiques de rendre une IA plus performante au moment de répondre : lui laisser plus de temps pour « réfléchir » en interne — c'est ce qu'on appelle le raisonnement étendu — ou lui faire générer plusieurs réponses et garder la meilleure. Un papier arXiv de cette semaine défend qu'il existe une troisième voie, fondamentalement différente : laisser l'IA interagir avec le monde réel pour obtenir un retour ancré. L'analogie de cuisine s'impose. Un cuisinier qui relit sa recette dix fois tourne en boucle dans sa tête. Un cuisinier qui goûte à chaque étape reçoit un signal du monde extérieur. Ce n'est pas la même information. L'équipe a testé les trois approches sur des suites de programmation difficiles à budget de calcul identique. Raisonnement étendu et « best-of-N » — générer N réponses et sélectionner la meilleure — plafonnent rapidement. En revanche, un système proposeur-relecteur — un agent génère du code, un autre l'exécute dans un vrai terminal et signale les erreurs — atteint 100 % de réussite sur les deux suites difficiles, avec une variance nulle entre les exécutions. Ce que je trouve personnellement important, c'est l'honnêteté des contre-exemples : pour l'édition vidéo et la recherche documentaire, où le modèle atteignait déjà 0,98 de précision, l'interaction n'apporte rien. L'ancrage ne sert que là où il existe quelque chose de vérifiable à tester. Le hic : le code est un cas idéal parce que l'exécution donne un signal de vérité net — ça marche ou ça ne marche pas. Pour des tâches plus ouvertes — rédiger, planifier, analyser — la question reste entière. Mais l'axe est réel, et les résultats sont convaincants.

Ces trois papiers ne se citent pas, mais ils parlent de la même chose. StructAgent donne à un agent une représentation vérifiable de ce qu'il a déjà fait. ST-Evidence force un modèle à pointer ses preuves visuelles plutôt que de se contenter de donner une réponse. Et l'interaction scaling montre qu'exécuter du code dans un vrai terminal surpasse toute forme de raisonnement interne. Le fil conducteur : l'intelligence artificielle progresse moins en « pensant mieux » qu'en se dotant de mécanismes pour confronter ses sorties à quelque chose d'externe — un état de tâche, une trace visuelle, un terminal. Ce n'est pas anodin. Ça déplace la question de « comment rendre un modèle plus intelligent » vers « comment concevoir des systèmes qui empêchent le modèle de se mentir à lui-même ». C'est une direction plus modeste que les grandes promesses, et probablement plus productive. La vraie avancée de ce 14 juillet, c'est peut-être ça : l'ancrage bat la puissance brute.

Sur le front de l'évaluation des agents, il faudra surveiller si OSWorld et d'autres benchmarks de computer-use commencent à intégrer des conditions d'évaluation tierces — c'est le seul moyen de valider les gains de StructAgent hors du labo qui les a produits. Et la question que j'aimerais voir répondue dans les prochaines semaines : existe-t-il un équivalent du « terminal de vérité » pour des tâches de raisonnement ouvertes ? Si quelqu'un trouve ça, c'est une vraie avancée.

• Wikipédia — Hallucination en intelligence artificielle (FR)
• Wikipédia — Agent intelligent (FR)
• Wikipédia — Large language model (EN)