Ce que les IA comprennent (et ratent encore) aujourd'hui

Une IA qui comprend enfin les films d'une heure entière

Imaginez devoir répondre à des questions précises sur un film de deux heures après l'avoir vu une seule fois — c'est exactement ce qu'on demande aux IA vidéo.

Pendant longtemps, les IA qui analysent des vidéos avaient un problème de mémoire de poisson rouge. Quelques secondes, quelques minutes au mieux. Vous leur montrez une heure de contenu et demandez « qu'est-ce qui s'est passé au milieu ? » — silence, ou n'importe quoi inventé. Une équipe de chercheurs vient de publier MemDreamer, un système qui sépare deux choses qu'on mélangeait jusqu'ici : percevoir et raisonner. Concrètement, MemDreamer regarde la vidéo une fois et construit une carte mentale hiérarchique — imaginez quelqu'un qui prend des notes sur un livre avec des chapitres, des sous-chapitres, des fiches sur les personnages et leurs relations. Ensuite, quand on lui pose une question, il ne relit pas tout : il navigue dans ses notes avec des outils de recherche ciblés. Le résultat est frappant. Sur LVBench — le benchmark de référence pour les vidéos longues, certaines de plusieurs heures — MemDreamer ne se retrouve plus qu'à 3,7 points des experts humains. Et il y arrive en ne traitant que 2 % du contenu total, là où ses concurrents devaient tout ingérer d'un coup. En pratique, ça divise la fenêtre de calcul par 40 à 120. Pourquoi ça compte ? Les applications sont nombreuses et concrètes : résumés automatiques de réunions, analyse de footage de surveillance, suivi médical vidéo. Le hic, soyons honnêtes : ces chiffres viennent des propres tests de l'équipe, sur des benchmarks construits pour être évalués proprement. La vraie question — est-ce que ça tient sur des vidéos du monde réel, bruyantes et imprévisibles — reste entière. Les benchmarks ont tendance à être plus ordonnés que la vie.

Une IA qui apprend à mieux trier les urgences médicales, sans réentraînement

77 % de précision pour décider qui passe aux urgences en premier — c'est le point de départ. Après évolution automatique : 87 %.

Améliorer un système d'IA en médecine, d'habitude, ça veut dire des mois de réentraînement, des milliers d'exemples annotés par des médecins, et une facture de calcul conséquente. Une équipe de chercheurs vient de montrer qu'on peut faire autrement — et les chiffres sont difficiles à ignorer. Leur approche s'appelle LLM-guided MAP-Elites. L'image la plus simple : imaginez un jardinier qui fait des boutures. Il part d'une plante existante — ici, un programme de triage médical — en fait des variantes légèrement différentes, garde les meilleures, recommence. Dans cette expérience, c'est une IA qui joue le rôle du jardinier : elle réécrit en boucle un programme de décision médicale, teste chaque version sur des cas réels, conserve ce qui marche mieux. Sur les vignettes cliniques de Semigran — un benchmark de référence pour le triage d'urgence — la précision globale est passée de 77,3 % à 87,1 %. Mais le chiffre qui donne vraiment le vertige, c'est le rappel des urgences vraies : les cas qui auraient pu être mortels si mal classés. Il est passé de 0,60 à 0,97. Sans modifier le modèle de base. Sans nouvelles données d'entraînement. L'approche fonctionne sur plusieurs familles de modèles différents — Llama, Qwen, Gemma — et les stratégies découvertes se transfèrent à des données que le système n'avait jamais vues. Le hic, et il est important : tout ça reste du test en laboratoire sur des cas simulés ou rétrospectifs. Entre un benchmark propre et une vraie salle d'urgence — informations incomplètes, patients qui s'expriment mal, bruit ambiant — il y a un gouffre que ce papier ne comble pas encore. Je simplifie, mais l'écart sim-to-real en médecine est réel et documenté.

L'édition audio par IA échoue presque à 100 % sur les tâches complexes

Demandez à une IA de modifier précisément un fichier audio complexe — elle réussit moins d'une fois sur vingt. Sur les tâches vraiment difficiles : zéro sur vingt.

On parle beaucoup des IA qui génèrent du son, de la musique, des voix. Mais les éditer avec précision — supprimer un bruit de fond sur une piste en préservant la voix, transposer un accord dans un morceau multi-instruments, synchroniser deux sources en respectant des contraintes temporelles précises — c'est une autre histoire. Une équipe de chercheurs vient de publier MMAE, le premier benchmark sérieux pour évaluer cette capacité. 2 000 tâches, 7 types de contenus différents, 6 niveaux de complexité, 17 741 critères de vérification. Ils ont testé les 5 meilleurs systèmes d'édition audio actuels dessus. Le résultat est brutal. Le taux de réussite exacte — c'est-à-dire : le système a fait exactement ce qu'on demandait — ne dépasse pas 5 % sur les tâches générales. Sur les tâches complexes qui mélangent plusieurs types de contenu : 0 % pour tous les modèles testés. Zéro. Et ajouter un planificateur externe basé sur des agents n'améliore rien de façon consistante. C'est un peu comme si vous demandiez à un musicien expérimenté de corriger une partition complexe, et qu'il rendait une feuille blanche à chaque fois qu'il y avait plusieurs instruments à coordonner. Pourquoi est-ce que je vous raconte ça, alors ? Parce que sans mesure honnête des lacunes, on ne sait pas où concentrer les efforts. Ce papier est une bonne nouvelle déguisée en mauvaise : maintenant qu'on a un vrai thermomètre, on peut commencer à soigner la fièvre. Franchement, les benchmarks sévères sont plus utiles que les démos flatteuses. Le hic : MMAE est construit à partir de tâches synthétiques conçues par des humains assistés d'IA. C'est déjà un filtre de qualité. La réalité des demandes désordonnées est probablement encore plus difficile.

Trois histoires, et une ligne directrice qui les traverse : nous avons collectivement beaucoup investi dans les capacités de génération — générer du texte, des images, du son — et nous commençons seulement à mesurer sérieusement ce que les IA comprennent vraiment. MemDreamer montre qu'on peut mieux comprendre de longues séquences en structurant la mémoire plutôt qu'en augmentant brutalement la puissance de calcul. C'est un changement d'approche, pas juste une mise à l'échelle. L'évolution guidée en médecine montre qu'on peut améliorer des décisions critiques sans toucher au modèle de base — une piste importante pour les domaines où réentraîner coûte cher et prend du temps. Et MMAE nous dit crûment que comprendre et éditer de l'audio reste un problème non résolu, malgré l'abondance de démos impressionnantes. Ce qui relie tout ça : la recherche en IA est en train de mûrir. Elle commence à se doter d'outils de mesure honnêtes, à découpler des capacités qu'on traitait comme un bloc, et à chercher l'efficacité plutôt que la puissance brute. C'est plus intéressant que les annonces.

En médecine, surveillez les premières évaluations prospectives — sur de vrais patients, en temps réel — des systèmes de triage augmentés par IA. C'est là que la distance entre benchmark et réalité deviendra visible. Sur la vidéo longue, la question ouverte que j'aimerais voir traitée : est-ce que des systèmes comme MemDreamer tiennent la route sur des vidéos non éditées, filmées dans des conditions difficiles ? Personne ne l'a encore testé sérieusement.

• Papier MemDreamer — version complète sur arxiv
• Papier LLM-Guided Evolution for Medical Decision Pipelines — arxiv
• Papier MMAE benchmark audio — arxiv