Un étudiant a-t-il trouvé un moyen de détecter les textes produits par ChatGPT?

Dans les établissements supérieurs, les logiciels anti-plagiat font eux aussi appel à l’intelligence artificielle. « Si une machine est capable de créer quelque chose, elle est aussi capable de détecter le processus de création qui se cache derrière », nous expliquait Hugues Bersini, directeur du laboratoire d’intelligence artificielle de l’ULB, en juin dernier. « C’est une course-poursuite entre les deux. »

Est-ce que GPTZero fonctionne?

Le 3 janvier dernier, un étudiant américain est entré dans cette course poursuite en affirmant avoir créé un logiciel capable de détecter les textes écrits par ChatGPT. « Les humains méritent de connaître la vérité », a déclaré l’étudiant en informatique et en journalisme de l’Université de Princeton (Etats-Unis). Pour ce faire, il a donc développé GPTZero.

En résumé, ce site utilise des variables censées comparer un texte écrit par un humain et un texte écrit par une intelligence artificielle. Il se base notamment sur la « perplexité » d’un texte. La perplexité mesure le caractère aléatoire d’un texte, autrement dit elle analyse dans quelle mesure un logiciel comme ChatGPT aurait pu prédire ce texte. Plus la perplexité est élevée, plus il est probable que le texte a été écrit par des humains. Etant donné que l’humain ne peut pas faire preuve de « perplexité » dans chaque phrase, l’appli analyse également le texte phrase par phrase pour détecter les « pics » de perplexité. Il part de l’idée qu’un texte écrit par une IA sera plus uniforme qu’un texte écrit par un humain.

A l’heure actuelle, cette application est une version test. Si elle semble avoir déjà débusqué quelques textes écrits par une IA, force est de constater qu’elle en laisse passer beaucoup d’autres. Nous lui avons en effet proposé plusieurs textes écrits par une IA et cette application n’a pu en détecter aucun. Précisions que l’étudiant a passé « ses vacances de Noël » à écrire cette appli, contrairement à la technologie derrière ChatGPT qui a vu des équipes entières d’experts y travailler pendant des années.

ChatGPT est-il vraiment indétectable?

Malgré tout, il existe des manières de débusquer l’utilisation d’un logiciel d’intelligence artificielle dans un travail. L’IA est en effet encore incapable de « bluffer » les professeurs. Sans compter que la partie pratique d’un mémoire nécessite souvent un travail original de la part de l’étudiant. Or, comme la matière n’existe pas encore, l’IA ne pourra difficilement se baser sur d’autres textes pour la générer. Enfin, les professeurs connaissent les étudiants et restent capables de voir si le style d’écriture est le même dans leurs différents travaux.

Si le perfectionnement de l’intelligence artificielle présente donc de nouveaux défis pour l’enseignement, il ouvre aussi de nouvelles opportunités. Les étudiants pourront s’en servir comme aide dans leurs études, à condition que l’intelligence artificielle ne fournisse pas tout le travail à leur place!