Quand la méthode change tout, même les résultats.

Changer comment on mesure fait disparaître la moitié des découvertes.

Imaginez qu'un médecin change de thermomètre en cours d'essai clinique sans le noter — et que ça modifie la moitié des diagnostics.

Voilà, en gros, ce que documente ce méta-analyse portant sur plus de cent études en santé mentale. Les auteurs ont regardé de près quelque chose qu'on appelle les « décisions de mesure » : le choix du questionnaire utilisé, la façon de sélectionner les résultats à rapporter, le moment où on décide de couper les données. Et leur conclusion est sèche : ces décisions, quand elles ne sont pas justifiées en amont, réduisent de moitié le nombre de résultats statistiquement significatifs. Concrètement, c'est comme si vous faisiez la même recette avec deux balances qui n'affichent pas pareil — et que vous choisissez après coup celle qui donne un gâteau plus réussi. Le résultat semble solide. Il ne l'est pas. Pourquoi ça compte ? Parce que la recherche en santé mentale souffre depuis longtemps d'un problème de réplicabilité — c'est-à-dire que beaucoup d'études sont difficiles à reproduire. Ce papier met le doigt sur une cause concrète : la flexibilité dans les choix de mesure gonfle artificiellement les taux de faux positifs. En clair, des résultats qui semblent réels ne le sont peut-être pas. Le hic : ce papier est lui-même un preprint, pas encore validé par des pairs. Les auteurs ne détaillent pas non plus quelles études sont concernées ni dans quels sous-domaines la flexibilité est la plus répandue. C'est un signal d'alarme fort, pas un verdict définitif. Mais c'est exactement le genre de signal qu'il serait imprudent d'ignorer.

Les IA qui jouent les patients dépressifs semblent convaincantes, mais faussent la réalité.

Un acteur peut jouer un patient dépressif de façon crédible et pourtant ne ressembler à aucun vrai patient — c'est exactement le problème que ce papier met en lumière.

Les grands modèles de langage — comme ceux qui font tourner ChatGPT — sont de plus en plus utilisés pour simuler des patients en psychiatrie. L'idée : entraîner des cliniciens, tester des outils de diagnostic, générer des données synthétiques quand les vraies données manquent. Ça paraît séduisant. Ce papier, qui passe au crible quatre modèles d'IA différents sur 28 800 profils générés, refroidit l'enthousiasme. Les auteurs ont comparé les profils synthétiques aux données épidémiologiques réelles issues de grandes enquêtes américaines, le NHANES et le NESARC-III. Leur constat : individuellement, chaque profil généré est cohérent — les symptômes s'enchaînent de façon cliniquement plausible. Mais collectivement, les modèles écrasent la diversité réelle. C'est ce qu'ils appellent la « compression de variance » : les cas les plus sévères, les plus atypiques, les extrêmes cliniques disparaissent. DeepSeek-V3 compresse jusqu'à 62 % de la variance des populations réelles. C'est comme si un casting ne retenait que des profils moyens, effaçant tous les cas-limites. Autre problème : 37 % des cas changent de diagnostic entre deux passages du même test, malgré des corrélations apparemment bonnes. Et les biais sont inégalement distribués : les femmes transgenres sont sous-estimées de plus de cinq points sur l'échelle de dépression PHQ-9, effaçant une vulnérabilité documentée. Le hic : les détails sur la façon dont les modèles ont été interrogés manquent dans le texte disponible. On ne sait pas exactement quels prompts ont été utilisés. Ce qui limite la reproductibilité de l'audit lui-même — ironie du sort.

Mesurer dépression et anxiété depuis quelques mots choisis, sans entraîner une IA.

Et si les mots que vous choisissez spontanément pour décrire votre semaine en disaient autant sur votre état mental qu'un questionnaire clinique en vingt questions ?

C'est la proposition de ce papier, et elle est élégante. L'équipe — qui travaille à partir de données collectées par Gu et al. sur la plateforme Prolific — a développé un cadre qu'ils appellent « projection sémantique ». L'idée : prendre les réponses en langage naturel de 145 participants, les encoder sous forme de vecteurs mathématiques via un modèle de langage appelé Sentence-BERT, puis les projeter sur des axes construits à partir d'échelles cliniques validées comme le CES-D ou le STAI-Y. Mettez-vous une boussole en tête. Le nord représente « déprimé », le sud « épanoui ». Chaque mot ou phrase que vous écrivez tombe quelque part sur cette boussole. C'est ça, la projection sémantique : pas d'entraînement, pas d'exemples labellisés, juste une géographie du langage. Les résultats sont frappants dans le bon sens du terme : pour les formats courts et structurés — quelques mots choisis, ou une phrase simple — les corrélations avec les scores cliniques de dépression atteignent r = 0,87. Autrement dit, les mots que vous choisissez prédisent votre score clinique presque aussi bien que le questionnaire complet. Mais le hic est important. L'échantillon est petit : 247 observations, 145 personnes, recrutées en ligne. Les formats libres — si vous écrivez un paragraphe complet — fonctionnent beaucoup moins bien, sauf si on découpe phrase par phrase. Et cette méthode mesure une corrélation, pas un mécanisme. Elle ne remplace pas un entretien clinique. C'est un outil de screening potentiel, pas de diagnostic. La nuance compte.

Ces trois papiers ne se ressemblent pas en surface. L'un parle de statistiques, l'autre de simulation par IA, le troisième de mots et de géométrie. Mais ils disent tous la même chose : en santé mentale, le problème n'est pas que les données manquent. C'est qu'on ne sait pas toujours ce qu'on mesure vraiment. Le premier nous dit que les décisions de mesure mal justifiées gonflent les résultats. Le deuxième nous montre que des IA entraînées sur ces résultats gonflés vont simuler une réalité compressée, sans les cas extrêmes. Et le troisième propose une piste : revenir à quelque chose de minimaliste, de théorie-d'abord, plutôt que de data-d'abord. Ce n'est pas du pessimisme. C'est une cartographie honnête des vrais blocages. Et je trouve que c'est une bonne nouvelle : si on sait où sont les trous, on peut commencer à les boucher. Le chantier est là. Il n'est pas secret.

Le papier sur les décisions de mesure est un preprint — surveillez s'il passe la validation par les pairs et dans quelle revue, ça changera son poids. Sur les simulations LLM en psychiatrie, PsychBench ouvre une question concrète : qui va définir des standards d'audit pour ces outils avant qu'ils soient déployés dans des formations cliniques ? C'est la question que j'aimerais voir discutée à la prochaine conférence ACL ou EMNLP, où ces systèmes sont présentés le plus souvent sans ce genre d'audit épidémiologique.

• Wikipédia — Crise de la réplicabilité (vue d'ensemble accessible)
• INSERM — Dossier sur la dépression (contexte clinique de base)