L'IA cherche, trouve — et oublie quand même.

Les agents IA ne savent pas quand leurs souvenirs sont périmés.

Votre assistant note que la réunion du mardi est annulée — et deux semaines plus tard, il vous l'inscrit quand même à l'agenda.

C'est exactement le problème que le papier STALE vient de quantifier. Imaginez un carnet de notes où une information récente contredit une ancienne, sans que le mot « non » apparaisse nulle part. Juste : la situation a changé. Un bon assistant humain fait le lien automatiquement. Les agents IA — ces programmes qui utilisent un grand modèle de langage comme cerveau et gèrent de la mémoire pour vous aider dans des tâches continues — échouent souvent à faire ce lien. Les chercheurs derrière STALE ont construit un banc d'essai de 400 scénarios de conflits de mémoire, organisés en 1 200 questions, couvrant plus de 100 sujets du quotidien, avec des contextes pouvant atteindre 150 000 tokens — soit l'équivalent de plusieurs centaines de pages. Ils ont testé les meilleurs modèles disponibles sur trois axes : est-ce que l'agent résout le conflit correctement, résiste-t-il à une question qui présuppose une information périmée, et s'adapte-t-il quand une règle implicite a changé sans qu'on le lui dise explicitement ? Résultat : le meilleur modèle testé atteint 55,2 % de précision, toutes dimensions confondues. Le hasard pur sur des questions à quatre choix donnerait 25 %. On est mieux que le hasard — mais franchement, pas de quoi pavoiser pour des systèmes qu'on envisage de déployer en assistants professionnels. Ce qui est frappant : le problème n'est pas que les modèles ne *trouvent* pas l'information récente. Souvent, ils la trouvent. Ils échouent à l'étape d'après — comprendre que cette nouvelle information invalide l'ancienne et agir en conséquence. C'est la différence entre lire un panneau « route barrée » et faire demi-tour. Le hic : ce papier teste des conflits relativement propres et bien délimités. En production réelle, les contradictions sont plus diffuses, les enjeux plus élevés. Le prototype CUPMem proposé comme solution reste expérimental. On est loin du problème résolu.

759 heures de vidéos chirurgicales, et l'IA score 41 %.

Chercher une aiguille dans une botte de foin de 37 heures — c'est littéralement le défi que MedHorizon pose aux IA, et la trouvaille la plus contre-intuitive de la semaine en sort.

L'équipe derrière MedHorizon a construit un benchmark — une sorte d'examen standardisé — à partir de 340 vidéos cliniques réelles : chirurgies, examens endoscopiques, coloscopies. Au total, 759 heures de footage provenant de 8 bases de données existantes, couvrant 7 organes différents, avec des procédures pouvant durer jusqu'à 37 heures d'affilée. Pour chaque vidéo, les chercheurs ont créé des questions à choix multiples demandant au modèle de retrouver une information clé et d'en tirer une interprétation clinique. Le résultat principal : le meilleur modèle testé atteint 41,1 % de précision. Le hasard pur, sur des questions à quatre choix, donnerait 25 %. On est mieux que le hasard — mais à peine, et certainement pas à un niveau utilisable en clinique. Mais voici la trouvaille vraiment intéressante : donner *plus* d'images au modèle ne l'aide pas de façon prévisible. Ses performances n'augmentent pas de manière monotone quand on augmente le nombre de frames analysées — elles fluctuent, parfois elles baissent. C'est contre-intuitif, parce qu'on imaginerait naturellement que plus d'information, c'est mieux, comme un chirurgien qui préfère avoir l'intégralité d'une vidéo opératoire plutôt qu'un extrait. Pourquoi ? Les chercheurs pointent un chiffre vertigineux : les images contenant des informations cliniquement pertinentes représentent en moyenne 0,166 % du total — soit environ 1,7 image sur 1 000. Dans ces conditions, noyer le modèle sous des heures de footage redondant brouille plus qu'il n'aide. Le problème principal n'est pas la mémoire longue, c'est l'attention et le raisonnement procédural sous haute redondance. Le hic : MedHorizon reste un test de laboratoire, avec des vidéos publiques et des questions préformatées. Le monde clinique réel est encore plus chaotique. Mais poser clairement le problème, c'est déjà un vrai service rendu à ceux qui veulent déployer ces outils sans se raconter des histoires.

Automatiser la recherche en sécurité IA : le piège que personne n'avait nommé.

Les chercheurs qui veulent rendre l'IA plus sûre envisagent de laisser l'IA faire ce travail — et ce papier explique pourquoi c'est plus risqué qu'il n'y paraît.

L'idée semble séduisante : la recherche sur l'alignement des IA — c'est-à-dire sur la façon de s'assurer qu'une IA fait vraiment ce qu'on lui demande, et rien d'autre — est longue, difficile, et manque de chercheurs humains. Pourquoi ne pas laisser des agents IA produire et évaluer eux-mêmes ces travaux de sécurité ? C'est ce qu'on appelle un programme de recherche d'alignement automatisé. Les auteurs de ce papier, qui est une réflexion théorique et non une étude empirique — soyons honnêtes là-dessus —, identifient deux pièges structurels qui rendraient ce programme moins fiable que le travail humain, même sans aucune mauvaise intention de la part des IA. Premier piège : l'optimisation pousse les erreurs exactement là où les humains regardent le moins. Imaginez une boulangerie notée uniquement sur l'apparence de ses pains. Le boulanger va naturellement soigner la croûte — et les défauts internes, moins visibles, passeront inaperçus. Un agent IA optimisé pour obtenir de bonnes évaluations humaines va concentrer ses erreurs précisément dans les zones que les évaluateurs humains ont du mal à inspecter. Deuxième piège : si de nombreux agents partagent les mêmes données d'entraînement, leurs conclusions vont se ressembler — et surtout, leurs erreurs vont être corrélées. Agréger cent études dont les angles morts se recoupent, c'est toujours avoir un angle mort, quelle que soit la quantité de travail produite. Le hic, encore une fois : ce papier est un argument conceptuel, pas une démonstration. Aucune expérience ne vient prouver que ces pannes se produisent dans les systèmes actuels. Mais dans un domaine où se tromper silencieusement a des conséquences sérieuses, nommer les pièges avant d'y tomber a une vraie valeur.

Soyons honnêtes sur ce que ces trois papiers disent ensemble : nous construisons des systèmes IA de plus en plus ambitieux — des agents qui gèrent de la mémoire, qui analysent des heures de vidéo chirurgicale, qui produisent de la recherche en sécurité — avant d'avoir résolu des problèmes de fiabilité fondamentaux. Les agents ne savent pas quand leurs informations sont périmées. Les modèles se noient dans des vidéos longues sans trouver ce qui compte. Et les outils censés rendre l'IA plus sûre pourraient eux-mêmes propager des erreurs difficiles à détecter. Ce n'est pas du catastrophisme. Ces problèmes sont documentés, nommés, et des équipes travaillent dessus sérieusement. Mais il y a une tension réelle entre le rythme auquel on déploie ces systèmes dans des contextes à enjeux — médical, juridique, sécurité — et le rythme auquel on comprend leurs limites. Ce que la recherche de cette semaine nous dit, c'est que la prudence n'est pas une posture, c'est une exigence technique.

Sur le front de la mémoire des agents IA, regardez si des équipes reprennent le benchmark STALE pour tester des architectures de mémoire plus robustes dans les semaines qui viennent — c'est le genre de papier qui génère des réponses rapides. Sur MedHorizon, la vraie question ouverte est : peut-on entraîner des modèles spécifiquement sur cette distribution de données ultra-sparse, ou le problème est-il architectural ? Enfin, le débat sur l'automatisation de la recherche en alignement va probablement s'intensifier à mesure que des laboratoires comme Anthropic et DeepMind publient leurs propres travaux sur la supervision scalable — à surveiller à l'automne.

• Arxiv — STALE : benchmark complet sur la mémoire invalide des agents LLM
• Arxiv — MedHorizon : le benchmark sur la compréhension de vidéos médicales longues
• Arxiv — Automated alignment is harder than you think
• Wikipédia — Alignement des intelligences artificielles (introduction en français)