L’IA générative, un levier pour transformer l’évaluation des apprentissages

Billet proposé par Philippe Haeberli, André Camacho, Elsa Sancey, Omar Benkacem et Mallory Schaub

Qu’il s’agisse de questions à choix multiples (QCM), de quiz ou de questions ouvertes à réponses courtes (QROC), que ce soit pour évaluer les apprentissages à la fin d’un cours (évaluation certificative) ou pour donner l’occasion aux étudiant-es de se tester et de pouvoir se situer (évaluation formative), la formulation de questions suit quelques principes rédactionnels simples.
Dans un QCM ou dans un quiz, les questions sont composées de deux parties : une amorce (l’énoncé de la question) et des solutions (une ou plusieurs correctes et des leurres ou distracteurs).

Dans un QROC, la question ne comporte qu’une seule partie : l’énoncé de la question. La réponse est donnée par l’étudiant-e. Il s’agit en général d’une correction semi-automatique. Les étudiant-es saisiront une chaîne de caractères courte. Par exemple : citez une capitale située en Europe.

Deux principes de base

1. Un-e étudiant-e qui connaît la bonne réponse ne devrait pas être empêché-e de le faire en raison d’éléments d’ordre langagier ou logique.
2. Un-e étudiant-e qui ne connaît pas la bonne réponse ne devrait pas pouvoir se baser sur des indices lui permettant de deviner la réponse correcte.

Formuler des énoncés

Les principaux points de vigilance pour formuler des questions respectant les deux principes énoncés ci-dessous sont :

• Grammaires et syntaxe correcte
• Termes univoques, clairs, précis
• Énoncés positifs (éviter les négations ou pire encore, les doubles négations)
• Question et informations contextuelles bien distinguées

Si ces points ne sont pas respectés, les conséquences pourraient être :

• Que l’on évalue les capacités de déduction et de logique des étudiant-es plus que leurs apprentissages liés au cours
• Que l’on induise les étudiant-es en erreur ou que l’on donne des indices de la bonne réponse
• Que la question doive être invalidée car n’est plus ni valide, ni fiable.

Formuler les solutions (ne concerne que les qcm ou quiz)

Pour proposer des distracteurs pertinents, on peut s’inspirer des erreurs communes ou habituelles (erreurs fréquentes). Tout comme pour les énoncés, les réponses doivent être formulées en termes claires, précis et univoques. Le principe d’indépendance devrait être privilégié (qu’une réponse n’en englobe pas une autre). Privilégier un ordre neutre (alphabétique, numérique, chronologique). Toutes les réponses possibles devraient se ressembler (même longueur, syntaxe, complexité, même espacement). Les leurres doivent tous être plausibles. Il faut s’assurer aussi que les distracteurs en soient vraiment, et ne soient pas, à bien y réfléchir, des réponses correctes possibles, selon la compréhension que l’on a de l’intitulé.
Pour réduire le facteur chance, plusieurs alternatives se présentent : soit augmenter le nombre de distracteurs, soit augmenter le nombre de réponses correctes, inclure l’option « je ne sais pas » ou encore (dans le cas d’un examen sommatif), pénaliser les réponses incorrectes et inclure les degrés de confiance.

Préparer les étudiant-es

« What and how students learn depends to a major extent on how they think they will be assessed. Assessment practices must send the right signals to students about what they should be learning and how they should be learning» – Biggs & Tang, 2011, p.191

Cette citation de l’auteur qui a popularisé la notion d’alignement pédagogique (constructive alignment) rend attentif au fait que la pratique de l’évaluation formative est recommandée à plusieurs titres : clarifications des attentes des étudiant-es par rapport à l’évaluation mais également occasion de tester sa compréhension et de se situer par rapport aux exigences de l’évaluation certificative.

L’examen à blanc est une forme de préparation qui est répandue ; les quiz avant, durant ou après les cours constituent également une évaluation formative très profitable pour les étudiant-es. Voir plus loin la rubrique « Ressources pour des exemples UNIGE de quiz ».

Intégrer ses questions à son espace de cours Moodle

Que ce soit un QCM, un quiz ou un QROC, l’activité Test de la plateforme Moodle@UNIGE permet d’intégrer vos questions à votre espace de cours, d’ajouter du feedback à chaque étape et le faire passer à vos étudiant-es. Test aura l’avantage de proposer une auto-correction (pour les questions fermées ou pour les réponses courtes) et de pouvoir fonctionner soit pour évaluation formative, soit en auto-évaluation, comme ressource pédagogique de votre cours. Pour en savoir plus l’activité Test, consultez les fiches pratiques.

L’utilisation de Moodle dans un contexte d’évaluation sommative

La plateforme Moodle permet aux enseignant-es de réaliser des activités d’évaluation et aux étudiant-es d’effectuer les passations directement en ligne. Il est important cependant d’observer quelques bonnes pratiques (pédagogiques et organisationnelles) afin d’assurer la qualité de l’évaluation.

Bonnes pratiques opérationnelles

Tout d’abord, s’il est essentiel de s’assurer que l’étudiant-e a accès à l’examen à l’heure définie, et pas avant, et uniquement jusqu’à l’heure limite, il est également important de permettre à l’étudiant-e de vérifier ses accès et ses prérequis à l’avance. L’espace d’examen doit donc être rendu visible au moins une heure à l’avance. L’activité d’évaluation doit également être paramétrée afin de ne pas permette aux étudiant-es de démarrer l’examen avant l’heure déterminée. Ceci peut être automatisé à l’aide de restrictions basées sur la date et l’heure, rendant automatiquement l’activité visible et accessible aux étudiant-es à partir d’une heure donnée.

De plus il nous semble important de prendre en considération d’éventuels imprévus ou problèmes techniques mineurs : “Un étudiant-e ayant 5 minutes de retard à son examen, doit-il/elle perdre cinq minutes de son temps total ?” Si la réponse est oui, aucun paramétrage spécifique n’est nécessaire. Cependant, si la réponse est non, une tolérance doit être ajoutée à l’examen (exemple avec 5 minutes de tolérance : examen démarre à 9:00, sera clos à 10:05, les étudiant-es ont 60 minutes pour réaliser l’examen).

Bonnes pratiques pédagogiques

D’un point de vue pédagogique, il peut être important de limiter l’éventuelle triche entre étudiant-es par diverses actions. Il est cependant essentiel de garder en tête les éventuelles conséquences positives et/ou négatives liées à l’application de telles actions.

La séquentialité dans un test, permet par exemple d’obliger les étudiant-es à répondre aux questions de manière linéaire : aucun retour en arrière n’est permis. Si la séquentialité permet, au plus souvent, d’éviter que les étudiant-es ne répondent à la même question, en même temps, ce paramètre a, au plus souvent, des conséquences sur le processus pédagogique de l’étudiant-e :

• Premièrement, il empêche l’étudiant-e de répondre aux questions dans l’ordre souhaité.
• De plus il empêche l’étudiant-e de “laisser les questions difficiles pour la fin”.
• Finalement, une mauvaise manipulation de la part de l’étudiant-e (passage accidentel à la question suivante) peut l’empêcher de manière définitive de répondre à la question “sautée”.

L’utilisation de questions aléatoires permet également d’individualiser la copie de chaque étudiant-e, réduisant ainsi, le plus souvent, les possibilités de triche chez les étudiant-es. Ici encore, il est essentiel de garantir une égalité pédagogique : il est notamment important de garantir que chaque question appartenant à une catégorie aléatoire est de difficulté équivalente.

Finalement, puisque la réalisation d’un examen sous forme électronique et à distance présente des particularités très différentes dans la réalisation du même examen en présentiel, il nous semble essentiel que le passage d’un examen sur papier à un examen réalisé à distance et sur ordinateur, demande selon nous, une réelle réflexion et une adaptation de l’évaluation elle-même. Il ne s’agit pas de simplement convertir l’évaluation du format papier au format numérique.

Une recommandation finale

Une fois mise sur Moodle, faites relire vos questions et réponses à des collègues ou conseillers afin d’analyser la qualité des énoncés et réponses proposés ainsi que de noter le temps pris pour y répondre. Suivant la connaissance du sujet de la personne, vous pourrez pondérer le temps (fois 2 ou 3) qu’un-e étudiant-e débutant-e ou avancé-e devrait passer sur ce même test.

Ressources

Plusieurs enseignant-es de l’UNIGE pratiquent des quiz. Découvrez comment elles et ils les intègrent dans leur enseignement et les contacter via la plateforme d’innovations pédagogiques (entrer le mot clé « Questionner »).
Vous pouvez aussi revoir le Partage d’expériences du printemps 2021 autour de l’usage des quiz comme moyen d’évaluer régulièrement les apprentissages.
Enfin, un guide pratique très complet pour la conception d’une évaluation par QCM a été édité par nos collègues du Louvain Learning Lab : https://uclouvain.be/fr/etudier/lll/cahier-qcm.html

Références

• Biggs, J. & Tang, C. (2011), Teaching For Quality Learning at University. New-York : McGraw – Hill Education.
• Buckles, S. & Siegfried, J.J. (2005). Using multiple choice questions to evaluate in-depth learning of economics. Journal of Economic Education, 37, 48-57. https://www.tandfonline.com/doi/abs/10.3200/JECE.37.1.48-57 (consulté le 28 juin 2021)
• Brady, A.-M. (2004) Assessment of learning with multiple-choice questions. Nurse Education in Practice, 5, 238-242. https://pubmed.ncbi.nlm.nih.gov/19038205/ (consulté le 28 juin 2021)
• Sylvestre, E. & Rochat, J.-M. (2013). Comment développer un questionnaire à choix multiples (QCM ) ?. In Berthiaume D. & Rege Colet N. (2013). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 1 : Enseigner au supérieur. Berne : Peter Lang.