« ChatGPT est incapable de fournir un vrai travail universitaire »

Comme nous vous l’avions déjà expliqué dans un précédent article, certains indices peuvent mettre la puce à l’oreille des professeurs. “On voit tout de suite quand un étudiant insère dans son texte des paragraphes écrits par ChatGPT”, explique-t-il. Récemment, il a ainsi repéré des bouts de textes vraisemblablement écrits par une intelligence artificielle dans l’ébauche d’un travail d’étudiants. Pour lui, il est donc inconcevable que ChatGPT puisse écrire tout un travail universitaire sans être détecté par des correcteurs attentifs.

Sur le fond

« À l’heure actuelle, et dans mon domaine, ChatGPT me semble incapable de produire des références bibliographiques fiables ou des notes en bas de page », pointe tout d’abord l’expert. En mai 2022, Mike Sharples, un professeur émérite de l’Institute of Educational Technology de l’Open University (Angleterre), notait également que certaines des références produites par l’outil étaient fausses mais tout de même « suffisamment plausibles pour ne pas alerter les correcteurs ». Pour Marc Van Campenhoudt, si un correcteur averti vérifie quelques références, il s’apercevra vite de la supercherie. « Et l’étudiant aura des difficultés à rajouter lui-même ces références dans le texte puisqu’il ne sait pas d’où viennent les phrases écrites par l’intelligence artificielle. Plus gênant, il pourrait citer, de bonne foi, un texte crédible mais rédigé avec l’aide d’un robot. »

L’étudiant pourra par contre se servir de ChatGPT en lui posant une question, comme il le ferait sur un moteur de recherche. L’intelligence artificielle apporte en effet une aide dans la synthétisation de textes. Mais l’étudiant devra toujours vérifier les informations. D’une part, parce que les connaissances de ChatGPT s’arrêtent actuellement à 2021 et, d’autre part, parce que « l’université forme les étudiants à la critique des sources, ils doivent donc toujours vérifier la pertinence de ce qu’ils écrivent. »

Sur la forme

Au-delà du fond, ChatGPT peut aussi être détecté au niveau de la forme. On l’a déjà dit : l’intelligence artificielle a tendance à utiliser la même structure (sujet-verbe-complément) et à répéter certains mots. « Il faudrait faire des analyses plus poussées, mais dans mon échantillon, les rafales de mots, c’est-à-dire les répétitions, peuvent atteindre le double de ce qu’on observe dans d’autres textes spécialisés », explique Marc Van Campenhoudt. De même, les répartitions des catégories grammaticales semblent étonnamment stables d’un paragraphe à l’autre. « Or, en français, il est très rare de retrouver la même proportion d’adjectifs ou de substantifs quel que soit le texte. »

Sur la base de ces constatations, et bien d’autres encore, il devrait donc être possible à l’avenir de détecter à l’aide de l’ingénierie linguistique les textes écrits par une intelligence artificielle étant donné qu’ils se « voient déjà à l’oeil nu« . À l’heure actuelle, précisons que les algorithmes parviennent déjà à repérer certains textes écrits par une IA, mais en laissent passer d’autres. Malgré tout, il semble risqué de miser la réussite d’un travail universitaire sur les seules compétences de ChatGPT…