Une étude qui affirmait que ChatGPT d’OpenAI pouvait améliorer l’apprentissage des élèves a été rétractée, près d’un an après sa publication. L’éditeur du journal, Springer Nature, a invoqué des “incohérences” dans l’analyse et un manque de confiance dans les conclusions, tout en soulignant que cette décision intervient après une large diffusion de l’article.

Le papier avait en effet circulé dans les milieux académiques et sur les réseaux sociaux, où il a souvent été présenté comme une preuve solide, presque “de référence”, des bénéfices potentiels de l’IA générative pour les apprenants. Des spécialistes interrogés estiment toutefois que le niveau de robustesse scientifique ne justifiait pas une telle interprétation.

Une méta-analyse fondée sur 51 études

La recherche rétractée cherchait à mesurer l’effet de ChatGPT sur plusieurs dimensions : les performances des étudiants, leur perception de l’apprentissage et les compétences de niveau supérieur. Pour ce faire, les auteurs ont réalisé une méta-analyse à partir des résultats de 51 travaux antérieurs.

Concrètement, l’étude compare, à partir des données agrégées, des groupes expérimentaux utilisant ChatGPT en contexte éducatif et des groupes témoins n’y ayant pas recours. Selon les auteurs, l’analyse mettait en évidence :

• un “impact positif important” sur l’amélioration des performances d’apprentissage ;
• un “impact modérément positif” sur la perception de l’apprentissage ;
• un effet favorable sur les processus cognitifs de haut niveau.

Le résultat a été publié dans Humanities & Social Sciences Communications, un journal de Springer Nature, le 6 mai 2025.

Des “signaux d’alerte” qui remettent en cause la fiabilité des résultats

Des réserves ont rapidement été exprimées sur la qualité des travaux combinés et sur la comparabilité des études incluses. Un enseignant-chercheur spécialiste de l’éducation numérique, interrogé à ce sujet, estime que l’article aurait pu synthétiser des études de faible qualité, ou rassembler des résultats difficilement comparables en raison de différences trop marquées de méthodes, de populations et d’échantillons.

Le même expert souligne aussi un autre point : le calendrier de publication. L’étude serait parue seulement deux ans et demi après le lancement de ChatGPT. Or, selon lui, il paraît difficile qu’un volume aussi important d’études de haut niveau ait pu être produit, évalué et publié en aussi peu de temps.

Pourquoi la rétraction ne suffit pas à effacer l’influence de l’article

Même après la décision de rétractation, l’impact de l’étude demeure notable. Avant et pendant sa circulation, elle a été citée des centaines de fois dans d’autres publications, y compris dans des travaux évalués par les pairs et dans des contenus moins strictement contrôlés. L’article a aussi suscité une attention en ligne significative, ce qui a contribué à consolider sa visibilité dans le débat public.

Ce cas illustre un mécanisme fréquent dans la recherche et les communications scientifiques : lorsqu’une conclusion paraît claire, chiffrée et “généralisable”, elle peut être reprise plus vite que ne se met en place une vérification approfondie de sa robustesse méthodologique.

Dans le même temps, la rétractation rappelle l’importance des contrôles sur les données, les hypothèses et la cohérence des comparaisons dans les méta-analyses. Elle met aussi en lumière la nécessité d’examiner séparément la qualité des études sources, plutôt que de se fier uniquement à un résultat statistique agrégé.

Pour suivre et analyser ce type de sujets, un outil pratique peut être utile lorsqu’il s’agit de structurer une revue de littérature ou de traiter des données : un tableur comme Microsoft Excel 2024 peut servir à organiser des résultats et à vérifier des synthèses. Pour ceux qui veulent renforcer des compétences en lecture critique et méthodologie, un manuel de méta-analyse et de méthodes de recherche peut aussi aider à mieux interpréter les limites des études agrégées.