Vérifier l'IA est plus dur qu'on le croit, mathématiquement

Auditer une IA fiable : les maths disent que c'est très difficile

Imaginez qu'un prévisionniste annonce « 1 % de risque de pluie » pendant dix ans — combien de jours faut-il observer pour savoir s'il a vraiment raison ?

C'est exactement le problème que pose ce papier, et la réponse est vertigineuse. CE QUI S'EST PASSÉ. Une équipe de chercheurs a établi — formellement, avec des mathématiques de statistique minimax, la méthode qui prouve qu'on ne peut pas faire mieux — qu'il existe une limite fondamentale à notre capacité à vérifier si un modèle d'IA est bien calibré. La calibration, c'est la cohérence entre ce qu'un modèle dit (« je suis sûr à 80 % ») et ce qui se passe en réalité (il a raison 80 % du temps). Pensez au prévisionniste météo : un bon prévisionniste qui dit « 30 % de pluie » voit effectivement pleuvoir environ trois fois sur dix. Un IA mal calibrée, elle, peut dire « je suis sûr » et se tromper souvent — sans que vous le sachiez facilement. Le résultat clé : si un modèle se trompe rarement — disons une fois sur cent — vous avez besoin d'une quantité astronomique de données pour détecter une mauvaise calibration. En dessous d'un seuil précis (quand le nombre d'exemples multiplié par le taux d'erreur est inférieur à 1), c'est mathématiquement impossible. Pas difficile : impossible. Les chercheurs ont aussi montré que demander au modèle de s'évaluer lui-même ne donne strictement zéro information sur sa calibration. Zéro, quelle que soit la puissance de calcul. POURQUOI ÇA COMPTE. Les régulateurs, les médecins, les juristes qui veulent « auditer » des IA avant de les déployer se heurtent à cette limite sans le savoir. Un agent en dix étapes coûte plus de mille fois plus cher à vérifier qu'un modèle simple, selon leurs calculs. LE HIC. C'est un résultat théorique. Il dit ce qu'on ne peut pas faire, pas comment contourner le problème. Les chercheurs suggèrent une piste — poser des questions ciblées plutôt qu'observer passivement — mais c'est une direction, pas une solution prête à l'emploi.

Ce modèle IA lit 100 pages sans perdre le fil

Donnez un dossier de 100 pages à un grand modèle de langage, et regardez-le se noyer — les meilleures réponses sont souvent enterrées à la page 73.

CE QUI S'EST PASSÉ. Une équipe a construit DocSeeker, un système entraîné sur Qwen-2.5-VL (un modèle de 7 milliards de paramètres qui « voit » les images et lit le texte) pour répondre à des questions sur de longs documents — rapports d'entreprise, présentations, dossiers médicaux, contrats. Le problème qu'ils résolvent est intuitif. C'est comme chercher une aiguille dans une botte de foin : plus la botte est grande, plus vous avez de chances de distraire votre attention sur du foin inutile. Les modèles existants s'effondrent précisément là : leur score sur des documents de plus de 80 pages tombe à 11,7 sur 100 pour le modèle de base. DocSeeker tient à 31,8. Ce n'est pas parfait, mais c'est presque trois fois mieux. Comment ? En deux temps. D'abord, le modèle apprend à localiser l'évidence — à pointer les pages pertinentes avant de raisonner dessus. Ensuite, un entraînement par renforcement (que les chercheurs appellent EviGRPO) récompense simultanément la bonne localisation et la bonne réponse. Ce n'est plus « lis tout et réponds » — c'est « scanne, pointe, explique ». POURQUOI ÇA COMPTE. Les cas d'usage réels impliquent presque toujours de longs documents. Un contrat, un rapport annuel, un historique médical : personne ne fait des questions-réponses sur dix pages. DocSeeker a été entraîné sur des documents courts, et généralise pourtant aux très longs — ce qui suggère que la méthode est robuste. LE HIC. Trente et un sur cent, ce n'est pas « résolu ». Et le papier ne compare pas DocSeeker aux très grands modèles propriétaires (GPT-5, Gemini Ultra) sur ces benchmarks spécifiques. On ne sait pas encore où se situe le plafond réel.

Montrez des indices plutôt que des pixels : l'IA comprend bien mieux

Pour expliquer où se trouve un objet dans une pièce, vous ne montrez pas une photo satellite — vous dites « à droite du canapé, à deux mètres ».

CE QUI S'EST PASSÉ. Des chercheurs ont constaté que les grands modèles multimodaux — ceux qui « voient » les images — échouent souvent à exploiter correctement les outils de vision dont ils disposent. Un outil de détection de profondeur produit une carte dense de pixels encodant les distances. Le modèle la reçoit, la « regarde »… et en fait presque rien. Leur solution s'appelle Perception Programs (P²). L'idée est simple à expliquer : au lieu de passer la carte de profondeur brute au modèle, on la convertit en une description textuelle structurée. « La chaise est à 1,2 mètre, la porte à 3,4 mètres dans la direction nord-est. » C'est ce que les auteurs appellent du langage natif pour un modèle de langage — lui parler dans sa propre langue plutôt que lui coller une image devant les yeux. Les résultats sont franchement surprenants. Sur une tâche de raisonnement multi-vues (comprendre comment des objets sont positionnés dans l'espace à partir de plusieurs angles), GPT-5 Mini passe de 41 % à 86 % de précision. Sur de petits modèles open source, les gains dépassent 20 points. Et tout ça sans aucun ré-entraînement — la méthode fonctionne à l'inférence, en changeant simplement le format de ce qu'on lui donne. POURQUOI ÇA COMPTE. Ça signifie que beaucoup de systèmes « multimodaux » sous-performent non par manque d'intelligence, mais parce qu'on leur parle dans une langue qu'ils ne maîtrisent pas bien. LE HIC. Les gains varient beaucoup selon la tâche et le modèle. Et la méthode suppose d'avoir accès aux outils de vision intermédiaires — ce qui n'est pas toujours le cas dans un déploiement standard. Je simplifie : P² est un brillant raccourci, pas une solution universelle.

Regardez ces trois histoires ensemble et vous voyez quelque chose d'intéressant : la recherche en IA est en train de se heurter à ses propres limites de mesure et de représentation, pas seulement de puissance brute. Le papier sur la vérification dit : même si un modèle est excellent, le prouver coûte mathématiquement très cher. Le papier sur les documents dit : même avec un bon modèle, le signal utile se noie dans le bruit à mesure que le contexte grandit. Et le papier sur les indices visuels dit : même avec les bons outils, si vous ne parlez pas au modèle dans le bon format, vous gâchez une grande partie de sa capacité. Ce ne sont pas des problèmes de puissance de calcul. Ce sont des problèmes d'interface, de représentation, et de mesure. Et c'est, je crois, une bonne nouvelle : on peut progresser beaucoup sans doubler les datacenters — en réfléchissant mieux à comment on présente les problèmes et comment on évalue les réponses.

L'Union européenne avance dans l'implémentation pratique de l'AI Act, qui va exiger des audits de conformité pour les systèmes à haut risque — exactement le type d'audit que le papier sur la vérification déclare mathematiquement limité. À surveiller : comment les régulateurs vont réagir à ce genre de résultat théorique. Par ailleurs, NeurIPS 2025 approche (soumissions closes, résultats attendus cet automne) : c'est là que ces directions de recherche se cristallisent en consensus ou divergent. La question ouverte que j'aimerais voir répondue : est-ce qu'on peut construire des méthodes d'audit actif — poser les bonnes questions au lieu d'observer passivement — qui contournent vraiment le plancher de vérification ?

• Wikipedia — Calibration (statistiques), pour comprendre le fond du premier papier
• Wikipedia — Génération augmentée par récupération (RAG), contexte utile pour les papiers sur les documents