• Intelligence Artificielle Générative à l'UNIGE
    Guide d'utilisation de l'intelligence artificielle générative à l'Université de Genève
  • Lunch and Learn
    Lunchs Pédagogiques : venez partager sur des thématiques vives dans l'enseignement !
  • Makeiteasy
    Une plateforme pour tester et améliorer vos compétences numériques à votre rythme
  • Ciel cherche: rédacteurs/trices

Bien rédiger mes questions d’évaluation des apprentissages (QCM, QUIZ ou QROC) et les implémenter sur moodle

Bien rédiger mes questions d’évaluation des apprentissages (QCM, QUIZ ou QROC) et les implémenter sur moodle

Billet proposé par Philippe Haeberli, André Camacho, Elsa Sancey, Omar Benkacem et Mallory Schaub

Qu’il s’agisse de questions à choix multiples (QCM), de quiz ou de questions ouvertes à réponses courtes (QROC), que ce soit pour évaluer les apprentissages à la fin d’un cours (évaluation certificative) ou pour donner l’occasion aux étudiant-es de se tester et de pouvoir se situer (évaluation formative), la formulation de questions suit quelques principes rédactionnels simples.
Dans un QCM ou dans un quiz, les questions sont composées de deux parties : une amorce (l’énoncé de la question) et des solutions (une ou plusieurs correctes et des leurres ou distracteurs).

Dans un QROC, la question ne comporte qu’une seule partie : l’énoncé de la question. La réponse est donnée par l’étudiant-e. Il s’agit en général d’une correction semi-automatique. Les étudiant-es saisiront une chaîne de caractères courte. Par exemple : citez une capitale située en Europe.

Deux principes de base

  1. Un-e étudiant-e qui connaît la bonne réponse ne devrait pas être empêché-e de le faire en raison d’éléments d’ordre langagier ou logique.
  2. Un-e étudiant-e qui ne connaît pas la bonne réponse ne devrait pas pouvoir se baser sur des indices lui permettant de deviner la réponse correcte.

Formuler des énoncés

Les principaux points de vigilance pour formuler des questions respectant les deux principes énoncés ci-dessous sont :

  • Grammaires et syntaxe correcte
  • Termes univoques, clairs, précis
  • Énoncés positifs (éviter les négations ou pire encore, les doubles négations)
  • Question et informations contextuelles bien distinguées

Si ces points ne sont pas respectés, les conséquences pourraient être :

  • Que l’on évalue les capacités de déduction et de logique des étudiant-es plus que leurs apprentissages liés au cours
  • Que l’on induise les étudiant-es en erreur ou que l’on donne des indices de la bonne réponse
  • Que la question doive être invalidée car n’est plus ni valide, ni fiable.

Formuler les solutions (ne concerne que les qcm ou quiz)

Pour proposer des distracteurs pertinents, on peut s’inspirer des erreurs communes ou habituelles (erreurs fréquentes). Tout comme pour les énoncés, les réponses doivent être formulées en termes claires, précis et univoques. Le principe d’indépendance devrait être privilégié (qu’une réponse n’en englobe pas une autre). Privilégier un ordre neutre (alphabétique, numérique, chronologique). Toutes les réponses possibles devraient se ressembler (même longueur, syntaxe, complexité, même espacement). Les leurres doivent tous être plausibles. Il faut s’assurer aussi que les distracteurs en soient vraiment, et ne soient pas, à bien y réfléchir, des réponses correctes possibles, selon la compréhension que l’on a de l’intitulé.
Pour réduire le facteur chance, plusieurs alternatives se présentent : soit augmenter le nombre de distracteurs, soit augmenter le nombre de réponses correctes, inclure l’option « je ne sais pas » ou encore (dans le cas d’un examen sommatif), pénaliser les réponses incorrectes et inclure les degrés de confiance.

Préparer les étudiant-es

« What and how students learn depends to a major extent on how they think they will be assessed. Assessment practices must send the right signals to students about what they should be learning and how they should be learning» – Biggs & Tang, 2011, p.191

Cette citation de l’auteur qui a popularisé la notion d’alignement pédagogique (constructive alignment) rend attentif au fait que la pratique de l’évaluation formative est recommandée à plusieurs titres : clarifications des attentes des étudiant-es par rapport à l’évaluation mais également occasion de tester sa compréhension et de se situer par rapport aux exigences de l’évaluation certificative.

L’examen à blanc est une forme de préparation qui est répandue ; les quiz avant, durant ou après les cours constituent également une évaluation formative très profitable pour les étudiant-es. Voir plus loin la rubrique « Ressources pour des exemples UNIGE de quiz ».

Intégrer ses questions à son espace de cours Moodle

Que ce soit un QCM, un quiz ou un QROC, l’activité Test de la plateforme Moodle@UNIGE permet d’intégrer vos questions à votre espace de cours, d’ajouter du feedback à chaque étape et le faire passer à vos étudiant-es. Test aura l’avantage de proposer une auto-correction (pour les questions fermées ou pour les réponses courtes) et de pouvoir fonctionner soit pour évaluation formative, soit en auto-évaluation, comme ressource pédagogique de votre cours. Pour en savoir plus l’activité Test, consultez les fiches pratiques.

L’utilisation de Moodle dans un contexte d’évaluation sommative

La plateforme Moodle permet aux enseignant-es de réaliser des activités d’évaluation et aux étudiant-es d’effectuer les passations directement en ligne. Il est important cependant d’observer quelques bonnes pratiques (pédagogiques et organisationnelles) afin d’assurer la qualité de l’évaluation.

Bonnes pratiques opérationnelles

Tout d’abord, s’il est essentiel de s’assurer que l’étudiant-e a accès à l’examen à l’heure définie, et pas avant, et uniquement jusqu’à l’heure limite, il est également important de permettre à l’étudiant-e de vérifier ses accès et ses prérequis à l’avance. L’espace d’examen doit donc être rendu visible au moins une heure à l’avance. L’activité d’évaluation doit également être paramétrée afin de ne pas permette aux étudiant-es de démarrer l’examen avant l’heure déterminée. Ceci peut être automatisé à l’aide de restrictions basées sur la date et l’heure, rendant automatiquement l’activité visible et accessible aux étudiant-es à partir d’une heure donnée.

De plus il nous semble important de prendre en considération d’éventuels imprévus ou problèmes techniques mineurs : “Un étudiant-e ayant 5 minutes de retard à son examen, doit-il/elle perdre cinq minutes de son temps total ?” Si la réponse est oui, aucun paramétrage spécifique n’est nécessaire. Cependant, si la réponse est non, une tolérance doit être ajoutée à l’examen (exemple avec 5 minutes de tolérance : examen démarre à 9:00, sera clos à 10:05, les étudiant-es ont 60 minutes pour réaliser l’examen).

Bonnes pratiques pédagogiques

D’un point de vue pédagogique, il peut être important de limiter l’éventuelle triche entre étudiant-es par diverses actions. Il est cependant essentiel de garder en tête les éventuelles conséquences positives et/ou négatives liées à l’application de telles actions.

La séquentialité dans un test, permet par exemple d’obliger les étudiant-es à répondre aux questions de manière linéaire : aucun retour en arrière n’est permis. Si la séquentialité permet, au plus souvent, d’éviter que les étudiant-es ne répondent à la même question, en même temps, ce paramètre a, au plus souvent, des conséquences sur le processus pédagogique de l’étudiant-e :

  • Premièrement, il empêche l’étudiant-e de répondre aux questions dans l’ordre souhaité.
  • De plus il empêche l’étudiant-e de “laisser les questions difficiles pour la fin”.
  • Finalement, une mauvaise manipulation de la part de l’étudiant-e (passage accidentel à la question suivante) peut l’empêcher de manière définitive de répondre à la question “sautée”.

L’utilisation de questions aléatoires permet également d’individualiser la copie de chaque étudiant-e, réduisant ainsi, le plus souvent, les possibilités de triche chez les étudiant-es. Ici encore, il est essentiel de garantir une égalité pédagogique : il est notamment important de garantir que chaque question appartenant à une catégorie aléatoire est de difficulté équivalente.

Finalement, puisque la réalisation d’un examen sous forme électronique et à distance présente des particularités très différentes dans la réalisation du même examen en présentiel, il nous semble essentiel que le passage d’un examen sur papier à un examen réalisé à distance et sur ordinateur, demande selon nous, une réelle réflexion et une adaptation de l’évaluation elle-même. Il ne s’agit pas de simplement convertir l’évaluation du format papier au format numérique.

Une recommandation finale

Une fois mise sur Moodle, faites relire vos questions et réponses à des collègues ou conseillers afin d’analyser la qualité des énoncés et réponses proposés ainsi que de noter le temps pris pour y répondre. Suivant la connaissance du sujet de la personne, vous pourrez pondérer le temps (fois 2 ou 3) qu’un-e étudiant-e débutant-e ou avancé-e devrait passer sur ce même test.

Ressources

Plusieurs enseignant-es de l’UNIGE pratiquent des quiz. Découvrez comment elles et ils les intègrent dans leur enseignement et les contacter via la plateforme d’innovations pédagogiques (entrer le mot clé « Questionner »).
Vous pouvez aussi revoir le Partage d’expériences du printemps 2021 autour de l’usage des quiz comme moyen d’évaluer régulièrement les apprentissages.
Enfin, un guide pratique très complet pour la conception d’une évaluation par QCM a été édité par nos collègues du Louvain Learning Lab : https://uclouvain.be/fr/etudier/lll/cahier-qcm.html

Références

  • Biggs, J. & Tang, C. (2011), Teaching For Quality Learning at University. New-York : McGraw – Hill Education.
  • Buckles, S. & Siegfried, J.J. (2005). Using multiple choice questions to evaluate in-depth learning of economics. Journal of Economic Education, 37, 48-57. https://www.tandfonline.com/doi/abs/10.3200/JECE.37.1.48-57 (consulté le 28 juin 2021)
  • Brady, A.-M. (2004) Assessment of learning with multiple-choice questions. Nurse Education in Practice, 5, 238-242. https://pubmed.ncbi.nlm.nih.gov/19038205/ (consulté le 28 juin 2021)
  • Sylvestre, E. & Rochat, J.-M. (2013). Comment développer un questionnaire à choix multiples (QCM ) ?. In Berthiaume D. & Rege Colet N. (2013). La pédagogie de l’enseignement supérieur : repères théoriques et applications pratiques. Tome 1 : Enseigner au supérieur. Berne : Peter Lang.


Catchbox : un micro pour favoriser la prise de parole des étudiant·e·s en auditoire

La Catchbox est un micro en mousse en forme de cube (cf. image ci-dessous). Légère, elle se lance facilement et sans risque d’être endommagée grâce à sa coque en mousse. Le dispositif fonctionne avec un micro-cravate branché sur le système audio de la salle de cours. Ainsi, la qualité du son est optimale et la voix des étudiant·e·s est très clairement audible.

Crédit photographique: Bettina Palazzo

D’un point de vue pratique, la Catchbox s’avère bien plus avantageuse qu’un micro main. En effet, elle ne nécessite pas d’être portée jusqu’au destinataire, un jet permet d’atteindre facilement ce dernier. De plus, l’étudiant·e peut poser la box devant elle/lui en gardant les mains libres.



La rentrée des enseignant-e-s

  • Découvrir le calendrier 2017-18 des ateliers de formation en enseignement universitaire et en elearning ?
  • Echanger avec un enseignant ayant innové et pourquoi pas prendre rdz-vs pour aller observer une séance ?
  • En savoir plus sur les modalités d’évaluation des enseignements par les étudiant-e-s ?
  • Discuter avec un conseiller en enseignement universitaire ou en e-learning ?

Participez à notre afterwork le Mardi 12 SEPTEMBRE 2017 à partir de 17h15 !

 

Courtes présentations suivi d’un moment convivial autour d’une verrée

Infos pratiques et inscription :  www.unige.ch/rentrens

 

Au plaisir de vous rencontrer

Pôle de soutien à l’enseignement et à l’apprentissage (SEA, DIFE)

Pôle e-learning (NTICE, DiSTIC)



Se former à l’enseignement universitaire? Le pôle SEA offre des ateliers pour tous les goûts

Vous enseignez ce semestre ou le suivant et vous souhaitez:

  • Découvrir et appliquer des stratégies pour rendre vos étudiant∙e∙s actifs ?
  • Améliorer vos grilles d’évaluation des apprentissages ?
  • Prévenir le plagiat ? Mettre en place une première séance de cours originale pour le semestre de printemps ?
  • Vous lancer dans l’élaboration d’une vidéo d’apprentissage ?
  • Vous souhaitez tout simplement échanger avec d’autres enseignant∙e∙s de l’UNIGE ainsi qu’avec un∙e conseiller∙ère pédagogique du pôle de soutien à l’enseignement et l’apprentissage (SEA) ?

Ateliers programmés

Ci-dessous les dates des ateliers offerts par le pôle SEA pour le reste de l’année académique. Ces ateliers de formation et de partage de pratiques sont gratuits pour toutes les personnes enseignant à l’UNIGE et donnent lieu à des attestations. Alors profitez-en !

17 novembre : Plagiat et ghostwriting

9 décembre : Construire et utiliser une grille d’évaluation des apprentissages

16 décembre : Donner une note à la production d’un étudiant∙e

17-19-20 janvier : Enseigner pour apprendre

9 février : Réussir sa rentrée

22 février : Charge de travail et ECTS

10 mars : Favoriser l’apprentissage grâce au travail en groupe

14-16-17 mars : Evaluer pour progresser

22 mars : Mener une discussion avec mes étudiant∙e∙s

28 mars : Enseigner en auditoire: gérer l’interactivité

7 avril : Superviser des étudiant∙e∙s: entre autonomie et encadrement

27 avril : Elaborer une vidéo d’apprentissage

16 juin : Rédiger son plan de cours

26-30 juin : Formation à l’enseignement universitaire – communiquer, enseigner, évaluer

Ateliers sur demande

 

L’équipe des conseiller∙ères pédagogiques du pôle de soutien à l’enseignement et l’apprentissage (SEA)
sea@unige.ch



Faire des vidéos d’apprentissage low-tech: c’est possible et cela favorise l’engagement des étudiants !

Notamment grâce à la diffusion des Mooc’s, les vidéos d’apprentissage sont devenues un medium à part entière dans l’enseignement supérieur. Dans un Mooc, elles sont le vecteur principal de l’information. Dans l’enseignement en présentiel, les vidéos sont intégrées au cours et sont notamment utilisées dans l’approche de la classe inversée.

L’un des défis que pose ce nouveau medium est l’engagement étudiant. En effet, le risque est de reproduire un enseignement exclusivement magistral dont on sait aujourd’hui qu’il est moins productif en termes d’apprentissage qu’un enseignement actif (PNAS 2014). Dans la classe inversée, l’exposition au contenu précède le temps en classe. Le temps en classe est alors dédié à l’interactivité. Afin que l’étudiant∙e s’engage sur le contenu à retenir avant la classe, la vidéo se doit donc d’être engageante.

A cet égard, une étude exploratoire (Guo & al. 2014) à propos de quatre Mooc’s hébergés sur la plateforme Edx de l’Université de Stanford donne quelques pistes intéressantes. L’étude croise deux ensembles de variables. D’une part, les styles de vidéo a) leçon filmée b) enseignant∙e parlant, dont on voit la moitié supérieure du corps c) démonstration sur tablette interactive popularisée par la Khan academy d) présentation PowerPoint avec voix off ; de l’autre, le temps que les participant∙e∙s passent sur la vidéo ainsi que le taux d’engagement et de réussite de ceux-ci aux activités proposées après le visionnement de la vidéo (principalement des questions à choix multiples). L’étude n’a pas valeur scientifique en ce sens qu’elle n’a pas été effectuée avec des groupes de contrôle. Elle a été toutefois complétée avec des interviews de membres de l’équipe de production d’EDX. En tous les cas, elle apporte des constats intéressants pour les personnes qui souhaitent se lancer dans la production de vidéo d’apprentissage.