L'IA qui rate la balance, rate le diagnostic, rate la flatterie.

Un protocole à plusieurs agents IA rate moins les diagnostics graves aux urgences

Aux urgences, l'erreur la plus dangereuse n'est pas le mauvais diagnostic — c'est le diagnostic qu'on n'a pas pensé à éliminer.

Imaginez une salle de staff médicale : un médecin génère des hypothèses, un autre vérifie la cohérence, un troisième consulte les dernières recommandations. AegisDx, développé par une équipe de Yale, reproduit cette dynamique avec des LLM — des modèles de langage — assignés à des rôles distincts. L'un génère, l'autre critique, un troisième fouille PubMed. Ils ne partagent pas le même contexte : chacun a sa partition. Les chercheurs ont évalué le système sur deux types de données. D'abord des cas publiés dans le NEJM et le JAMA — les deux revues médicales les plus exigeantes au monde, 302 et 480 cas respectivement. Ensuite 43 vrais dossiers patients des urgences de Yale, notés à l'aveugle par des médecins. Les résultats les plus parlants concernent ce que les urgentistes appellent les « à ne pas manquer » — les diagnostics graves qu'on doit éliminer avant de laisser partir quelqu'un. Sur les cas d'urgence publiés dans les Annals of Emergency Medicine, AegisDx attrape au moins un de ces diagnostics dans le top 3 à 78% contre 52% pour un LLM utilisé seul. Sur les cas NEJM, la précision dans le top 3 passe de 51,4% à 62,7%. Le hic, et il est important : les cas NEJM et JAMA sont sélectionnés pour leur intérêt pédagogique. Ils ne ressemblent pas à la moyenne d'une salle d'urgence. Sur les 43 vrais dossiers, les médecins notent les deux systèmes relativement haut — 4,55 contre 4,31 sur 5. L'amélioration est mesurable et statistiquement solide, mais l'espace entre « acceptable » et « excellent » reste serré. Ce n'est pas un outil qui remplace le médecin. C'est un filet de sécurité supplémentaire — utile, mais pas infaillible.

L'IA reconnaît votre assiette mais ignore combien vous allez vraiment manger

Pointez votre téléphone sur une assiette de pâtes carbonara — le modèle dira « carbonara ». Demandez-lui le nombre de grammes de glucides, et là, ça décroche.

Une équipe de chercheurs a construit OmniFood-Bench, un banc de test en trois niveaux pour mesurer ce que des modèles comme GPT-5.1, Gemini-3-flash ou Qwen3-VL-8B comprennent vraiment de ce qu'on mange. Niveau 1 : reconnaître le plat. Niveau 2 : estimer les masses et les valeurs nutritionnelles. Niveau 3 : donner des conseils adaptés à un profil de santé précis — par exemple, quelqu'un avec du diabète de type 2. Les résultats dessinent deux IA très différentes selon l'étage. Sur la reconnaissance des plats, les modèles approchent la précision humaine. Mais dès qu'on passe à l'estimation des quantités — « combien de grammes de riz dans cette portion ? » — les modèles s'effondrent. Les chercheurs appellent ça le fossé sémantique-physique : le modèle sait ce qu'est un aliment visuellement, mais il n'a aucune intuition de son poids, de sa densité, de ce qui se passe réellement dans l'assiette. C'est un peu comme reconnaître un pneu de voiture sur une photo sans avoir la moindre idée de son poids. Plus préoccupant encore : face à un profil diabétique, certains modèles recommandent des aliments sans déclencher d'alerte, alors même qu'ils ont correctement identifié les ingrédients. La cohérence entre « ce que je vois » et « le conseil que je donne » n'est pas assurée. Le hic à signaler honnêtement : le texte disponible du papier ne fournit pas de métriques précises — pas de taux d'erreur chiffré, pas de comparaison modèle par modèle. L'assertion d'un « échec catastrophique » sur l'estimation des masses est qualitative. Il faudra attendre la publication complète pour quantifier l'ampleur réelle.

Un modèle minuscule repère mieux la flatterie de l'IA que les évaluateurs humains

Des humains entraînés à détecter les comportements problématiques dans une conversation IA ne s'accordent presque jamais entre eux — un modèle de 146 millions de paramètres, lui, le fait à 90%.

Il y a un angle souvent négligé dans le débat sur la sécurité des IA : comment mesurer si un modèle se comporte bien, quand les humains eux-mêmes n'arrivent pas à se mettre d'accord là-dessus ? Une équipe de chercheurs a entraîné trois petits modèles — entre 146 millions et 3 milliards de paramètres, à comparer aux centaines de milliards d'un GPT-4 — sur une géométrie mathématique appelée espace hyperbolique. Sans entrer dans les détails, imaginez que la plupart des LLM représentent les relations entre les mots sur une surface plate, comme une carte routière. L'espace hyperbolique, lui, ressemble davantage à un arbre : il représente naturellement les hiérarchies et les sous-catégories. L'idée est que le langage, avec ses hyperonymes et ses familles de sens, s'y loge mieux. Mais le résultat le plus frappant n'est pas géométrique. C'est que le plus petit de ces modèles — 146 millions de paramètres — détecte mieux les comportements problématiques dans des conversations IA que des évaluateurs humains entraînés. Ces humains obtenaient un score d'accord entre eux de seulement 0,074 sur une échelle de 0 à 1 : ils ne s'entendaient pratiquement pas. Le petit modèle atteint 90,7% de précision binaire sur la même tâche. Sur la détection de sycophancy — c'est-à-dire quand un modèle flatte l'utilisateur plutôt que de lui dire la vérité — et de faux souvenirs inventés par le modèle, son score AUROC est de 0,804 contre 0,721 pour un grand modèle frontier utilisé en juge. Le hic : les chercheurs ne comparent pas des architectures hyperboliques et euclidiennes dans des conditions strictement identiques. On ne sait donc pas si c'est vraiment la géométrie qui fait la différence, ou d'autres choix d'entraînement. C'est une piste intéressante — pas encore une conclusion.

Ces trois histoires décrivent la même fracture, vue sous trois angles différents. On a des IA très capables de nommer — un plat, une maladie, une réponse correcte en apparence. Mais nommer n'est pas comprendre, et reconnaître n'est pas raisonner. AegisDx montre qu'on peut compenser cette limite par l'architecture : au lieu d'un seul LLM omniscient, une équipe d'agents avec des rôles distincts et des contre-vérifications. OmniFood-Bench montre que la perception visuelle et le raisonnement quantitatif sont deux compétences presque orthogonales — l'une ne prédit pas l'autre. Le travail sur les petits modèles hyperboliques ajoute une couche plus inconfortable : nos outils de mesure eux-mêmes sont défaillants. Si des évaluateurs humains ne s'accordent pas à 0,074 sur ce qui constitue un comportement problématique, comment bâtir des systèmes fiables ? Ce qui relie tout ça : la fiabilité de l'IA n'est pas qu'un problème de puissance brute. C'est d'abord un problème de vérification. Et on commence, lentement, à construire les outils pour se donner les moyens de vérifier.

Sur AegisDx, la vraie question est la suivante : est-ce que le gain de 26 points sur les diagnostics à ne pas manquer tient dans un essai clinique prospectif, avec des cas non sélectionnés ? C'est l'étape qui manque. Pour OmniFood-Bench, il faut attendre la publication complète avec les métriques quantitatives — les chiffres précis sur les taux d'échec nutritionnel changeront considérablement le poids politique de ces résultats. Plus généralement, j'aimerais voir quelqu'un tester directement si la géométrie hyperbolique explique vraiment les performances du petit auditeur comportemental — ou si c'est simplement une bonne recette d'entraînement emballée dans une belle histoire mathématique.

• Wikipedia — Diagnostic différentiel (pour les non-médecins)
• Arxiv — AegisDx (papier complet)
• Arxiv — Petits modèles hyperboliques (papier complet)