Tag : évaluation

Selon l’article 18A de la Loi sur l’Université, entré en vigueur le 10 décembre 2022, l’Université fixe des modalités d’examens qui garantissent un traitement équitable des étudiantes et étudiants. Dans la mesure du possible, l’évaluation des examens écrits est anonymisée.

Pourquoi anonymiser ?

Lors du processus d’évaluation d’une copie d’examen, les enseignant-es ou évaluateurs/trices peuvent être involontairement influencé-es par le fait de connaître l’identité de l’étudiant-e évalué-e. Des biais cognitifs peuvent survenir.

Il a donc été décidé que tous les examens nécessitant une correction manuelle de la part des évaluateurs/trices devraient être anonymisés afin d’apporter une solution à ces problématiques. Ceci pourrait venir à être généralisé aux autres types d’examens sur ordinateur.

La solution proposée devait également prendre en considération la directive adoptée le 9 janvier 2023 par le Rectorat de l’Université de Genève.

L’anonymisation des examens écrits se base sur trois principes :

• Acceptabilité : la mise en œuvre doit être fonctionnelle pour l’ensemble des parties prenantes soit le corps enseignant, le personnel administratif et technique et le corps étudiant
• Présomption d’honnêteté : l’enjeu n’est pas de lutter contre d’hypothétiques malveillances mais contre les biais involontaires d’évaluation
• Simplicité de la mise en œuvre pour l’ensemble des parties prenantes

Comment cela a-t-il été réalisé techniquement ?

La solution à proposer devait se baser sur le numéro SIUS (Système d’Information Universitaire Suisse) de chaque étudiant-e, numéro unique attribué à un-e étudiant-e immatriculé-e. Elle devait, en résumé, garantir que ce numéro était visible à toutes fins de vérification de l’étudiant-e, et que ses données personnelles (prénom, nom, email ou autres) étaient invisibles aux évaluateurs/trices.

Nous avons ensuite ajouté la possibilité de gérer le cas d’étudiant-es non immatriculé-es ou à statut particulier, en utilisant leur numéro temporaire en place et en lieu du numéro SIUS.

Pour arriver à cet objectif, nous avons configuré notre LMS (Learning Management System) Moodle de la façon suivante :
– Le « Prénom Nom » des étudiant-es a été remplacé par « Student {N° SIUS/N° Temporaire} »
– L’adresse email a été définie comme un champ appartenant à l’identité des personnes
– Nous avons retiré la permission aux « évaluateurs » de voir l’identité des personnes
– Nous avons maintenu la permission aux « gestionnaires » de voir l’identité des personnes

Le système de saisie des notes en ligne de l’Université de Genève a été mis à jour pour permettre aux évaluateurs/trices de soumettre des listes de numéros d’étudiant-es au lieu des adresses e-mail, qui révélaient auparavant l’identité des étudiant-es.

Comment cela a-t-il été organisé puis été généralisé ?

Nous avons débuté par la réalisation d’un pilote en Faculté de Psychologie et Sciences de l’éducation en 2023 afin de valider le concept et avant de le généraliser à l’ensemble des facultés et des types d’examen sur ordinateur.

Le projet a commencé en novembre 2022 par une pré-étude, le paramétrage de plateformes Moodle dans des environnements d’essai, la réalisation de tests et la rédaction d’une méthodologie et de diverses documentations.

Le premier examen pilote a eu lieu en janvier 2023. Pendant cette session d’examens, huit examens ont été conduits de cette manière sur une plateforme Moodle spécifique et dédiée aux évaluations anonymes.

À la suite de ce pilote, qui s’est déroulé sans problème, le rectorat de l’Université de Genève a décidé de généraliser ce processus à toutes les facultés.

Techniquement, la configuration de la plateforme Moodle anonyme a été propagée aux autres plateformes Moodle d’examens. Une documentation a été fournie à chaque faculté.

Problèmes rencontrés et défis

Voici un aperçu des défis rencontrés durant la conception et la mise en œuvre de ce projet. Certains de ces problèmes ont été entièrement résolus, comme par exemples les points 1 et 3, d’autres sont en phase d’implémentation, comme les points 4 et 5, tandis que le reste est encore en phase de discussion et de conception, comme le point 2.

Ces défis spécifiques ont été identifiés dans le cadre de la mise en œuvre de l’anonymisation des examens sur ordinateur à l’Université de Genève :

1. La gestion des cas d’étudiant-es spéciaux qui ne disposent pas de numéro d’immatriculation SIUS.
   1. En utilisant à la fois le numéro interne à l’UNIGE d’un-e étudiant-e, lorsque celui-ci ne possède pas un numéro SIUS, nous avons ouvert la possibilité de réaliser des examens anonymes avec l’ensemble des étudiant-es de l’UNIGE.
2. Les adaptations nécessaires pour les étudiant-es à besoins particuliers, où certains aspects (comme le temps supplémentaire ou l’utilisation d’une salle séparée) ne peuvent pas être dissimulés.
   1. Les examens sur ordinateur pour étudiant-es à besoins particuliers étaient une exception aux examens nécessaires d’anonymiser.
      Le défi d’anonymiser ces examens se situe autour du fait que la copie de ces étudiant-es se distingue en général facilement de celle des autres (format, support, temps disponible, etc.)
3. Les erreurs potentielles des étudiant-es en inscrivant leur numéro d’identification sur les feuilles d’examen, particulièrement dans le cadre des examens Offline Quiz¹ / Test Hors Ligne¹, et l’absence d’une méthode de vérification secondaire.
4. La difficulté rencontrée par les surveillant-es pour vérifier l’identité et la présence des étudiant-es tout en maintenant l’anonymat.
   1. Un pilote (cf. « prochaines étapes ») est en cours à la faculté de GSEM et nous avons pour but de le généraliser.
5. Les documents (par exemple, des fichiers Microsoft Word) créés sur des ordinateurs authentifiés au nom de l’étudiant-e, dans le contexte d’examens devraient être anonymes.
   1. Une solution intermédiaire a été trouvée. Afin d’anonymiser correctement ces documents, nous faisons face à des problématiques liées à la licence du logiciel.

¹ Offline Quiz / Test Hors Ligne est une activité Moodle existante, permettant aux enseignant-es de créer des examens sur ordinateur, qui sont ensuite imprimés et remplis par les étudiant-es sous la forme de cases à cocher. Les copies sont ensuite numérisées, puis automatiquement corrigées par Moodle. Pour plus d’informations, veuillez consulter la page suivante.

Prochaines étapes

Pour les prochaines étapes du projet, plusieurs objectifs ont été définis :

• Le projet vise à améliorer l’automatisation pour la création d’espaces d’examen et l’inscription des étudiant-es d’une manière anonyme, à continuer à développer et améliorer la création et le paramétrage automatique des examens (gabarits SEB² et API Moodle³) et de l’envoi des notes depuis Moodle vers le système de gestion d’informations des étudiant-es de l’Université de Genève (« SI-ETU »).
• Le projet prévoit également d’élargir l’application d’un pilote déjà mis en place à la Geneva School of Economics and Management (GSEM). Ce pilote utilise une application mobile pour vérifier la présence et l’identité des étudiant-es, ainsi que pour s’assurer que les copies d’examen sont correctement rendues, tout en maintenant l’anonymat des étudiant-es. Cette initiative vise à améliorer l’intégrité et l’efficacité du processus d’examen, en utilisant la technologie mobile pour faciliter la gestion des évaluations anonymes.

Ces étapes visent à renforcer l’efficacité, la fiabilité et l’intégrité du processus d’examen à l’Université de Genève, en tirant parti des technologies modernes et des méthodes d’automatisation.

²  SEB (ou « Safe Exam Browser ») est « un environnement de navigation web permettant de réaliser des évaluations électroniques en toute sécurité. Le logiciel transforme temporairement n’importe quel ordinateur en poste de travail sécurisé. Il contrôle l’accès aux ressources telles que les fonctions du système, les autres sites web et les applications, et empêche l’utilisation de ressources non autorisées pendant un examen. » Les gabarits SEB sont des fichiers spécifiant quels sites internet et quels logiciels sont autorisés dans un scénario d’examen et mis à disposition des enseignant-es à travers la plateforme Moodle. Plus d’informations.

³  Moodle est un système de gestion de l’apprentissage (LMS) libre et gratuit. Moodle est utilisé pour l’apprentissage mixte, l’enseignement à distance, les classes inversées et d’autres projets d’apprentissage en ligne dans les écoles, les universités, les lieux de travail et d’autres secteurs. L’API de Moodle permet de gérer la plateforme, les contenus et leurs paramétrages de manière automatisée et à travers des outils informatiques.