Biais politiques, pannes silencieuses, médecine risquée : l'IA face au réel.

Les IA notent les mêmes politiques différemment selon leur pays d'origine.

Même texte, même proposition, même dossier — mais si c'est la Chine qui signe, le score chute de 14 points.

Voici l'expérience. Des chercheurs ont soumis à quatre grands modèles — GPT-5, Claude Sonnet, Gemini 2.5 Flash et DeepSeek — deux propositions politiques identiques : une plateforme douanière numérique, un protocole de cybersécurité. Le texte ne changeait pas d'un iota. Ce qui changeait, c'est le nom de l'endosseur : États-Unis, Union européenne, Chine ou Russie, attribué au hasard. Ensuite, on demandait aux modèles de noter la proposition de 0 à 100. Imaginez un jury qui évalue les mêmes dissertations anonymisées, sauf qu'on a glissé discrètement le nom du lycée sur chaque copie. GPT-5 donne 80,5 à la version américaine et 66,6 à la version chinoise — même texte, 14 points d'écart. Gemini va encore plus loin : 85 pour les États-Unis, 36,2 pour la Russie. Quarante-neuf points de différence pour une proposition identique. DeepSeek, le modèle chinois, présente un profil différent : en notation pure, les quatre endosseurs obtiennent des scores équivalents. Mais dès qu'on lui demande de justifier son raisonnement, les pénalités contre la Chine et la Russie apparaissent — comme si mettre les mots forçait le biais à se matérialiser. Soyons honnêtes sur ce que ça veut dire — et ne veut pas dire. Ce n'est probablement pas une intention délibérée des équipes qui ont construit ces modèles. C'est plus vraisemblablement un reflet statistique : les données d'entraînement sur internet sont massivement produites par des sources occidentales, avec une ligne éditoriale occidentale intégrée. Mais le résultat pratique est bien réel. Si vous utilisez ces outils pour analyser des politiques internationales, évaluer des partenaires, ou conseiller sur de la géopolitique, les dés sont pipés avant même que vous posiez votre question.

Les agents IA codeurs échouent tôt, vite, et sans que personne ne s'en rende compte.

Sur 240 tâches de programmation, les agents IA ont pris une mauvaise direction dans les premières secondes — et ont continué quand même.

Une équipe a collecté 3 843 trajectoires d'exécution de sept grands modèles de langage — dont certains des plus performants du marché — tentant de résoudre des tâches de programmation en ligne de commande. Après filtrage, ils ont analysé 1 794 trajectoires complètes, dont 1 184 aboutissent à un échec. Plus de 63 000 étapes d'exécution au total, annotées par des humains en double aveugle avec un accord excellent (entre 0,78 et 0,94 sur l'échelle de mesure standard). Ce qu'ils ont trouvé devrait donner à réfléchir à quiconque déploie ces outils sur du code en production. Premier constat : les erreurs décisives se produisent presque toujours dans les toutes premières étapes. C'est un peu comme un cuisinier qui rate la préparation du fond de sauce au début du service — tout ce qui suit peut être techniquement correct, ça ne rattrapera jamais la base. Deuxième constat, plus inquiétant : ces erreurs restent cachées. L'agent continue, produit des sorties, semble avancer — jusqu'au moment où le rattrapage est devenu impossible. Dans les benchmarks habituels, on juge seulement le résultat final. Cette étude montre que c'est insuffisant : l'échec est un processus, pas un événement. Troisième constat : la cause principale des échecs n'est pas technique au sens matériel — ce n'est pas que l'outil plante. C'est une erreur épistémique : l'agent ne sait pas quelque chose qu'il aurait dû savoir, ou comprend mal le problème posé. Le hic, c'est que l'étude porte sur des tâches dans un environnement simulé (Terminal-Bench). On ne sait pas encore si ces proportions se retrouvent dans du code de production réelle. Mais la structure des pannes, elle, est probablement universelle.

Les IA médicales restent dangereuses malgré de bonnes performances apparentes.

Les meilleurs modèles médicaux satisfont autant de critères positifs que les médecins — mais déclenchent bien plus d'erreurs à risque.

Des chercheurs ont construit un benchmark à partir de vraies consultations médicales en ligne : 5 620 échanges réels entre patients et médecins, extraits de la plateforme JD Health en Chine, anonymisés, répartis sur 64 spécialités cliniques. Ils ont ensuite évalué 19 modèles de langage — certains généralistes, d'autres spécialisés en médecine — sur leur capacité à formuler la prochaine réponse appropriée dans chaque consultation. Le résultat est nuancé, et c'est précisément pour ça qu'il compte. Bonne nouvelle apparente : les meilleurs modèles frontières — ceux qu'on utilise déjà dans des applis de santé — cochent autant de cases positives que les médecins humains. Ils sont complets, ils répondent aux questions, ils structurent bien. Mauvaise nouvelle réelle : ces mêmes modèles déclenchent bien plus de critères négatifs que les médecins. Comprendre : ils font plus d'erreurs qui comptent vraiment en clinique — les erreurs qui ne sont pas simplement une réponse incomplète, mais une réponse potentiellement dangereuse. L'enjeu des images est central. Pensez à un dermatologue qui lirait la description d'une lésion mais ignorerait la photo. Sans les images jointes par le patient, les performances des modèles s'effondrent. Or, en consultation réelle, le patient envoie souvent une photo. Je simplifie : ce benchmark est construit sur des consultations chinoises, ce qui peut limiter la généralisation à d'autres contextes médicaux. Et l'évaluation elle-même est conduite par un autre modèle de langage — ce qui introduit ses propres biais. Mais le message central tient : être bon sur des benchmarks académiques et être fiable pour des patients réels, ce sont deux choses différentes. L'écart, ici, est documenté.

Trois papiers, trois angles — mais une question commune : est-ce que les systèmes d'IA actuels savent ce qu'ils ne savent pas ? Les modèles géopolitiques ont des préférences cachées qu'ils n'annoncent pas. Les agents codeurs font des erreurs fatales dès le départ sans lever la main. Les assistants médicaux produisent des réponses qui semblent complètes et restent dangereuses. Ce n'est pas de la hype inversée — ces systèmes font réellement des choses utiles. Mais ces trois études partagent un diagnostic : nos méthodes d'évaluation habituelles (les scores sur benchmarks, les taux de réussite globaux) capturent mal les pannes qui comptent vraiment. Un modèle peut avoir 90 % de précision et rater systématiquement les 10 % qui sont des urgences médicales, des biais politiques, ou des erreurs irréparables en production. La prochaine frontière de la recherche en IA n'est pas uniquement « faire mieux » — c'est « savoir précisément où on est encore mauvais ».

Sur le front médical, il faudra surveiller si des benchmarks similaires émergent pour des contextes non-chinois — la question de la généralisation est ouverte. Sur les biais géopolitiques, il serait intéressant de voir cette expérience répliquée sur des propositions plus subtiles, ou sur des modèles open-source. Et sur les agents codeurs, la question pratique qui m'intéresse : est-ce que les outils d'observabilité des agents (logs, monitoring) vont commencer à intégrer cette logique de détection précoce de déviation de trajectoire ?

• Wikipédia — Grand modèle de langage (introduction accessible en français)
• Wikipédia — Biais algorithmique