L'IA triche, perd le fil, et devine — voici les preuves.

Des IA qui notent votre voix sans vraiment vous écouter

Imaginez un jury qui note votre performance musicale en lisant seulement la fiche d'inscription — pas en vous écoutant.

Quand on veut évaluer si une voix synthétique sonne naturel, ou si un locuteur a l'air triste, on confie parfois cette tâche à un modèle d'IA appelé « juge audio ». Ces juges sont rapides et peu coûteux comparés à des évaluateurs humains. Les grandes entreprises s'en servent pour tester leurs systèmes vocaux. Mais est-ce que ces juges *écoutent vraiment* ? Des chercheurs ont conçu une expérience simple : ils ont fourni aux juges des étiquettes délibérément incorrectes — « cet enregistrement exprime la colère » alors que c'est de la joie — tout en gardant l'audio intact. Si le juge analyse vraiment l'audio, il doit ignorer l'étiquette fausse. S'il la copie, c'est qu'il triche. Résultat : cinq des six modèles testés ont obtenu un score de précision sur l'émotion de 0,10 ou moins — à peine mieux qu'un tirage au sort. Ils copiaient l'étiquette erronée au lieu d'écouter. C'est comme un correcteur qui recopie la note de son collègue sans lire votre dissertation. Pourquoi ça compte ? Ces juges automatiques sont utilisés pour évaluer des systèmes vocaux déployés dans le monde réel — assistants téléphoniques, outils d'accessibilité, interfaces vocales. Si leurs verdicts ne sont pas ancrés dans l'audio réel, on optimise dans le vide. Le hic : ce n'est pas vrai pour tous les attributs. La détection de la langue, par exemple, résiste mieux — parce que la langue est directement audible dans le signal. Les chercheurs distinguent les raccourcis « de protocole » (copier une étiquette) des raccourcis « de capacité » (l'IA ne sait simplement pas faire). C'est une nuance utile. Mais elle soulève une question inconfortable : sait-on vraiment ce qu'on mesure quand on évalue l'IA avec d'autres IA ?

Un duo d'IA pour traquer les failles de sécurité dans tout un projet de code

Chercher une faille de sécurité dans un grand projet logiciel, c'est comme chercher une fuite d'eau dans un immeuble entier — sans plan ni plombier.

Des chercheurs ont proposé DREA, un système à deux agents : un « planificateur » qui réfléchit stratégiquement aux zones à inspecter, et un « explorateur » léger qui parcourt concrètement le code. L'idée est simple : séparer la réflexion de l'exécution, comme un détective qui décide d'abord quelles pistes suivre, puis envoie un assistant vérifier sur le terrain. Les chiffres sont parlants. Sur un ensemble de 100 paires de code vulnérable, les outils existants identifient correctement 19 à 26 % des cas. DREA monte à 30 à 42 % — un gain réel, pas cosmétique. Et parce que l'explorateur est un modèle léger, le coût en appels API — ce qu'on paye au fournisseur d'IA pour chaque requête — chute d'un facteur 16 à 48. Ce n'est pas anodin quand on scanne des milliers de fichiers d'un même projet. Mais voici le détail le plus inconfortable de l'étude : entre 26 et 55 % des bonnes réponses — celles où le système a correctement identifié une vulnérabilité — étaient accompagnées d'un raisonnement erroné. Les chercheurs appellent ça des « Lucky Hits » : bonne conclusion, mauvaise explication. C'est comme trouver la bonne réponse à un problème de maths par hasard, en montrant un calcul faux. Ca veut dire que même les progrès mesurés cachent une fragilité. L'IA détecte mieux, oui — mais on ne peut pas encore se fier à son explication pour savoir *pourquoi* c'est une faille. Pour des audits de sécurité réels, où l'explication compte autant que la détection, c'est un problème ouvert. Je simplifie un peu : le benchmark utilisé (RepoPairBench, 100 exemples) est encore petit, et les résultats mériteront confirmation à plus grande échelle.

Montrez une heure de vidéo à l'IA — elle perd le fil en quelques minutes

Vous enregistrez une matinée dans votre appartement et demandez à l'IA : « Où est posée la cafetière maintenant ? » — elle ne sait pas.

Une équipe de chercheurs a construit VSI-SUPER-WILD : 442 vidéos du monde réel, certaines dépassant quatre heures, dans huit types d'environnements différents — cuisines, bureaux, rues, chantiers. Ils ont posé 6 980 questions vérifiées par des humains sur trois choses : où se trouve la caméra dans l'espace, où sont les objets dans la scène, et comment l'environnement a évolué. Puis ils ont soumis 13 grands modèles multimodaux — les mêmes qui impressionnent sur des images fixes — à ce test. Résultat : ces modèles performent à peine au-dessus du hasard sur les tâches qui nécessitent de suivre un état du monde changeant dans le temps. Et plus la vidéo est longue, plus les erreurs s'accumulent — sans jamais se corriger. L'analogie : c'est comme quelqu'un qui regarde un film en mémorisant chaque image isolément, mais sans jamais construire une carte mentale de ce qui se passe. À la fin, il ne sait plus où se trouvent les personnages ni ce qui a changé. Quatre types d'erreurs reviennent systématiquement. L'IA « aplatit » l'espace et perd la profondeur. Elle prend des raccourcis sémantiques — elle devine plutôt qu'elle observe. Elle ne met pas à jour son modèle du monde au fil du temps. Ou elle confond deux objets similaires entre eux. Le hic le plus important : ce n'est pas un problème de données manquantes. Les chercheurs ont vérifié — l'information est bien présente dans la vidéo. C'est un problème de raisonnement temporel. Ce qui signifie que rajouter de la puissance de calcul ou des données ne suffira probablement pas à résoudre ça seul.

Ces trois études parlent de la même chose sans se concerter : l'IA actuelle a des angles morts très précis, et la communauté scientifique commence à les nommer avec rigueur. Un juge audio qui copie l'étiquette plutôt que d'écouter. Un détecteur de failles qui trouve parfois la bonne réponse pour de mauvaises raisons. Un modèle de vision qui perd le fil d'une longue vidéo comme vous perdriez le fil d'une conversation téléphonique entrecoupée de coupures. Ce qui est nouveau, ce n'est pas l'existence de ces faiblesses — c'est qu'on les mesure, avec des protocoles conçus pour les exposer de façon contrôlée. C'est une forme de maturité scientifique. La recherche en IA devient plus honnête sur ce que les modèles ne savent pas encore faire. Ce n'est pas pessimiste. C'est exactement ce dont on a besoin avant de déployer ces systèmes dans des contextes où les erreurs coûtent cher — audits de sécurité, évaluation vocale en production, robotique domestique.

La conférence INTERSPEECH (août 2025) sera l'occasion de voir si la communauté audio prend au sérieux les biais de jugement exposés aujourd'hui — si des équipes proposent des protocoles d'évaluation plus robustes, c'est le signal que le sujet est pris en main. Du côté de la détection de vulnérabilités, surveillez l'évolution de benchmarks comme RepoPairBench et SWE-bench : ce qu'on mesure détermine ce qu'on essaie d'améliorer. La vraie question ouverte que j'aimerais voir répondue : peut-on construire un système qui explique *et* qui a raison — pas seulement l'un ou l'autre ?

• Wikipédia — Vulnérabilité informatique (contexte pour l'histoire DREA)
• Wikipédia — Hallucination des intelligences artificielles (contexte pour les raccourcis des juges audio)