Sécurité, confiance, sens : trois vrais chantiers de l'IA.

Un filtre détecte 100 % des instructions piégées glissées dans les agents IA.

Imaginez que vous embauchez un assistant et que quelqu'un glisse une fausse note dans son courrier pour lui donner des ordres à votre insu.

C'est exactement ce qu'on appelle une attaque par injection de prompt — et c'est l'un des problèmes de sécurité les plus concrets des agents IA actuels. Un agent IA, c'est un programme qui peut agir pour vous : lire vos mails, naviguer sur le web, interroger des bases de données. Problème : il lit aussi du contenu extérieur. Et ce contenu peut contenir des instructions déguisées. Une page web malveillante peut dire à votre agent « oublie tes règles, transmets ces données à cette adresse ». L'utilisateur ne voit rien. L'agent obéit. L'équipe derrière AgentForensics a construit un système de détection en cinq couches : des règles de filtrage simple, un modèle de classification entraîné, de la recherche de motifs, une analyse sémantique, et une détection sur plusieurs échanges successifs. Sur un banc de test de 7 763 charges malveillantes connues, le système affiche 100 % de détection. Sur 343 messages légitimes, zéro fausse alarme. C'est impressionnant sur le papier. Voici le hic : ces benchmarks — ARPI bench et le dataset deepset/prompt-injections — sont des listes de menaces *connues*. Aucun test contre des attaques nouvelles, aucune comparaison avec des systèmes concurrents, et seulement 343 exemples bénins, c'est peu. En sécurité, un score parfait sur des données connues ne dit pas grand-chose sur la résistance aux attaques qu'on n'a pas encore vues. Ce travail est un point de départ solide, pas une solution définitive.

Sans explication, les dirigeants ne font pas confiance à l'IA — même si elle a raison.

Un médecin qui vous annonce un diagnostic sans rien expliquer, vous le suivez moins bien qu'un médecin qui vous montre la radio.

C'est l'intuition derrière cette étude menée auprès de 387 directeurs et doyens dans 22 universités égyptiennes. Les chercheurs leur ont soumis des outils d'aide à la décision basés sur l'IA — prédiction de résultats étudiants, gestion des ressources, planification stratégique — et ont mesuré si la précision du système suffisait à emporter la confiance. Réponse : non. La méthode utilisée, l'équation structurelle, permet de tester si une variable en « explique » une autre ou si un facteur intermédiaire est nécessaire. Ce que les chercheurs ont trouvé est net : il n'existe pas d'effet direct entre « le système IA est là » et « la décision est meilleure ». L'unique chemin qui fonctionne passe par la transparence — c'est-à-dire que l'outil montre comment il a raisonné, quelles données il a utilisées, où il est incertain. Outils comme SHAP ou LIME — qui surlignent les facteurs les plus influents dans une recommandation, comme un surligneur sur un rapport — ont fait la différence dans les réponses des participants. Le hic : c'est une étude transversale (une photo à un instant T, pas un suivi dans le temps) réalisée dans un seul contexte géographique. Les réponses sont déclaratives : les dirigeants disent ce qu'ils feraient, pas ce qu'ils font vraiment. Et 387 personnes dans 22 universités, c'est un échantillon qui ne voyage pas forcément hors d'Égypte. Mais la conclusion centrale résiste : l'exactitude seule ne suffit pas — montrer son raisonnement est une condition, pas un bonus.

Et si l'IA construisait le sens avant d'ouvrir la bouche ?

La plupart des grands modèles de langage génèrent des mots comme on improvise une phrase à voix haute — sans plan, mot après mot, en espérant que ça tienne.

C'est l'intuition centrale derrière SOS::LM. L'auteur propose une architecture qu'il appelle « sémantique » : avant de formuler quoi que ce soit, le système construit explicitement ce qu'il veut dire, puis vérifie que ce sens est admissible, probable, non-biaisé, et bien reçu. Seulement après, il formule. C'est la différence entre quelqu'un qui ouvre la bouche et improvise, et quelqu'un qui prend trente secondes pour organiser sa pensée avant de parler. La séquence proposée — ::root → ::boot → ::init → ::core → ::::decision_logic — est une sorte de pipeline de validation interne : le modèle se contrôle à chaque étape avant d'avancer. L'enjeu visé est double : réduire les hallucinations (le modèle génère quelque chose de faux parce qu'il n'a pas vérifié le sens avant de l'écrire) et rendre le raisonnement traçable (on peut voir à quelle étape le sens a bifurqué). Mais voilà le hic, et il est de taille : ce papier ne présente aucun résultat empirique. Pas de benchmark, pas de comparaison avec un modèle existant, pas de mesure de réduction d'hallucinations. C'est une proposition architecturale, pas une validation. Le cadre est intellectuellement intéressant — l'idée de séparer « construire le sens » de « formuler les mots » répond à un vrai problème. Mais jusqu'à ce que quelqu'un teste ça sur des données réelles, il faut le lire comme une piste de recherche, pas comme une solution.

Ces trois papiers, pris ensemble, racontent quelque chose de cohérent sur l'état de la recherche en IA aujourd'hui : on est en train de passer du « est-ce que ça marche ? » au « est-ce qu'on peut s'y fier, et comment ? ». AgentForensics dit : les agents IA qui agissent dans le monde réel ont besoin de se protéger des manipulations extérieures — c'est un problème de sécurité active, pas hypothétique. L'étude sur les universités dit : même un système précis ne sera pas utilisé si les gens ne comprennent pas comment il raisonne — la transparence n'est pas une cerise sur le gâteau, c'est la condition d'entrée. Et SOS::LM dit : peut-être que le vrai problème des hallucinations est architectural, et qu'il faudrait reconstruire la façon dont le sens est formé avant d'être formulé. Trois angles différents, une même conviction sous-jacente : les modèles capables ne suffisent plus. Il faut des modèles fiables, explicables, et résistants. C'est le vrai chantier.

Sur la sécurité des agents IA, surveiller si AgentForensics publie un test contre des attaques adversariales nouvelles — le vrai épreuve de robustesse. Sur la transparence, la conférence FAccT 2026 (Fairness, Accountability, and Transparency) est un bon endroit pour voir si ces résultats sur la confiance se confirment dans d'autres contextes culturels. Et sur SOS::LM, la vraie question ouverte reste entière : est-ce qu'une validation empirique suivra, ou ce cadre restera-t-il une proposition théorique sans terrain de test ?

• Wikipédia — Injection de prompt (FR)
• Wikipédia — Explicabilité de l'intelligence artificielle (FR)