« Il faut interdire les QCM à points négatifs” : une étude démontre à quel point “les dés sont pipés”

Alors que penser des QCM à points négatifs ? Une récente étude apporte d’intéressants éléments.

Le contexte est cocasse. Tout part d’une erreur de communication. Nous sommes il y a tout juste quatre ans, pendant la session de janvier à l’UCLouvain. Le cours évalué figure dans le tronc commun des élèves de première année d’une même faculté. Il y a 664 inscrits. Les étudiants sont répartis dans deux auditoires.

”Chez nous, les QCM à points négatifs restent autorisés : il y a un principe de réalité, compte tenu du nombre d’étudiants et du financement”

C’est alors que ça dérape. Les consignes données de part et d’autre sont différentes. Au moment de la distribution du questionnaire à choix multiples (un QCM de 24 questions) dans l’auditoire 1, les étudiants sont informés qu’ils obtiendront un point par bonne réponse et zéro par mauvaise ou en cas d’abstention. Le QCM est sans pénalités. Au même moment dans l’auditoire 2, on annonce en revanche que chaque bonne réponse vaudra un point, chaque abstention zéro, mais que chaque mauvais choix en coûtera 0,25 : les étudiants sont donc soumis à un QCM avec points négatifs.

Quatre chercheurs décident d’en profiter

Il faut préciser que les étudiants de l’auditoire 2 ont déposé et gagné un recours à l’issue duquel ils ont été évalués selon les règles prévues à l’origine, à savoir sans pénalités. N’empêche. Les données récoltées au moment de la situation litigieuse fournissent de bien précieux renseignements. Quatre chercheurs de l’UCLouvain (1) décident donc d’en profiter.

Pour la première fois, ces circonstances vont en effet permettre de comparer les performances d’un même échantillon d’étudiants répartis aléatoirement en deux groupes utilisant deux formes différentes de QCM (sans entrer dans les détails de la vérification scientifique, les deux groupes ont été jugés équivalents en matière de niveau, âge, sexe, etc). Ce ne sont pas seulement les résultats immédiats qui ont été étudiés, mais aussi la valeur prédictive de ces derniers, en observant ce qui s’est passé pour les mêmes étudiants en fin d’année.

La recherche valide le biais de genre

Concernant les scores immédiats, la recherche a montré moins de réussite au QCM à points négatifs dans l’auditoire 2 (15 %) que dans l’autre (45 %). Autrement dit, le QCM à points négatifs fait échouer plus de monde.

Les chercheurs valident également le biais de genre, déjà avancé dans plusieurs études précédentes et qui fait débat depuis une trentaine d’années : oui, l’expérience a montré que les étudiantes maîtrisent mieux la matière que les étudiants, comme l’indiquent leurs scores au QCM sans pénalités passé après le recours, mais qu’elles réussissent trois fois moins bien qu’eux en cas de points négatifs. Les chercheurs l’expliquent par leur “aversion à la prise de risque”. Cette prudence se traduit par des taux d’abstention plus élevés.

Ils ont réussi leur année mais raté le QCM

Venons-en à la qualité de prédiction. Comment savoir si un test permet de mesurer si un étudiant maîtrise ce qui lui est nécessaire pour poursuivre son parcours avec succès ? Pour le savoir, les chercheurs ont comparé les scores obtenus par les étudiants de l’auditoire 2 au QCM à points négatifs avec leurs résultats de fin d’année. Clairement, ils ont mis en évidence que la majorité des étudiants qui ont réussi leur année étaient en échec en janvier au QCM avec pénalités. Le QCM avec points négatifs a fait échouer plus d’étudiants qui se sont révélés à niveau que le questionnaire sans pénalités. Heureusement, les circonstances ont fait qu’ils ont pu représenter l’examen sans points négatifs. Mais rien ne dit que l’issue aurait été la même si la première épreuve avait été validée…

« Mes doigts étaient gelés », « C’est la Sibérie »: des étudiants de l’ULB se plaignent de la température dans leur local d’examen

Pas de changement sur le terrain

Ces nouvelles indications ont-elles modifié les pratiques, sur le terrain ? Il semble que non. “C’est sûr : il y a plus de QCM aujourd’hui qu’il y a vingt ans”, confirme Geneviève Halleux, vice-directrice présidente et directrice des services académiques à la haute école Vinci. Celle-ci est l’une des hautes écoles à pratiquer le QCM à points négatifs. En cause : le très grand nombre d’étudiants à évaluer dans certains cursus (d’autant que le professeur de haute école n’a pas d’assistant).

“La pratique des QCM à points négatifs existe à l’UNamur, rapporte Laurent Schumacher, son vice-recteur à la formation. De manière assez anecdotique toutefois : on l’utilise pour une trentaine de cours sur le près de deux milliers au total.” L’institution namuroise précise qu’une réflexion constante est en cours. Il y a points négatifs et points négatifs. Combien soustrait-on ? Un, 0,5, 0,25, 0,20 ? Toutes les formules existent sur le terrain.

À l’ULB, le vice-rectorat à l’enseignement indique qu’un groupe de travail dédié aux QCM est en place depuis 2021. Sa charte stipule que l’utilisation des points négatifs est “vivement déconseillée”. Elle reste néanmoins possible, comme les QCM sans pénalités, “surtout en première année et dans les facultés dont le nombre d’étudiants a fortement augmenté”.

C’est le cas aussi à l’ULiège où l’on explique toutefois “une réflexion en cours à ce sujet en cette année académique, sans préjuger à ce stade des recommandations sur lesquelles elle débouchera”.

Plusieurs solutions alternatives

Et puis il y a celles qui y ont renoncé. L’Henallux depuis quelques années, par exemple. Et côté universitaire, l’UCLouvain et Saint-Louis-Bruxelles qui ont choisi de les interdire dès 2021. On sait que les pénalités visent à réduire l’effet du hasard. Pour éviter qu’il soit trop facile de réussir en répondant aléatoirement, plusieurs solutions alternatives sont alors proposées. “Par exemple augmenter le nombre de questions des QCM, ce qui permet de poser plusieurs questions relatives à un même acquis d’apprentissage ou, encore, recourir à des questions auxquelles il y a plusieurs réponses correctes”, précise l’UCLouvain. On y ajoutera réduire le temps d’examen ou hausser le seuil de réussite au-dessus de 50 %.

“Quoi qu’il en soit, le QCM à points négatifs est un instrument de mesure qui ne joue pas son rôle, conclut Jean-Marc Braibant, l’un des auteurs de la dernière étude ad hoc. Nos résultats plaident en faveur de l’interdiction des points négatifs, non seulement dans nos établissements mais aussi dans le cadre du concours d’entrée en médecine et en dentisterie.” Et il lance : “Qu’est-ce qui justifie que l’on utilise encore ce système dans lequel les dés sont pipés ?”

– > (1) Jean-Marc Braibant, François-Marie Gérard et Étienne Billat.