• Séminaire TECF'AGORA
    Séminaire TECF'AGORA (jeudi 29 février 2024): IA et rétroactions dans les environnements numériques d'apprentissage.
  • Séance ouverte de la CIP
    Séance ouverte de la CIP: Présentation des finalistes du prix de l’innovation pédagogique 2023
  • Makeiteasy
    Une plateforme pour tester et améliorer vos compétences numériques à votre rythme
  • Ateliers pour votre doctorat
    N'hésitez pas à vous inscrire et découvrez notre offre complète d'ateliers pour votre doctorat !
  • Ciel cherche: rédacteurs/trices

Tag : évaluation

Mise en oeuvre de l’anonymisation des plateformes d’examen

Selon l’article 18A de la Loi sur l’Université, entré en vigueur le 10 décembre 2022, l’Université fixe des modalités d’examens qui garantissent un traitement équitable des étudiantes et étudiants. Dans la mesure du possible, l’évaluation des examens écrits est anonymisée.

Pourquoi anonymiser ?

Lors du processus d’évaluation d’une copie d’examen, les enseignant-es ou évaluateurs/trices peuvent être involontairement influencé-es par le fait de connaître l’identité de l’étudiant-e évalué-e. Des biais cognitifs peuvent survenir.

Il a donc été décidé que tous les examens nécessitant une correction manuelle de la part des évaluateurs/trices devraient être anonymisés afin d’apporter une solution à ces problématiques. Ceci pourrait venir à être généralisé aux autres types d’examens sur ordinateur.

La solution proposée devait également prendre en considération la directive adoptée le 9 janvier 2023 par le Rectorat de l’Université de Genève.

L’anonymisation des examens écrits se base sur trois principes :

  • Acceptabilité : la mise en œuvre doit être fonctionnelle pour l’ensemble des parties prenantes soit le corps enseignant, le personnel administratif et technique et le corps étudiant
  • Présomption d’honnêteté : l’enjeu n’est pas de lutter contre d’hypothétiques malveillances mais contre les biais involontaires d’évaluation
  • Simplicité de la mise en œuvre pour l’ensemble des parties prenantes

Comment cela a-t-il été réalisé techniquement ?

La solution à proposer devait se baser sur le numéro SIUS (Système d’Information Universitaire Suisse) de chaque étudiant-e, numéro unique attribué à un-e étudiant-e immatriculé-e. Elle devait, en résumé, garantir que ce numéro était visible à toutes fins de vérification de l’étudiant-e, et que ses données personnelles (prénom, nom, email ou autres) étaient invisibles aux évaluateurs/trices.

Nous avons ensuite ajouté la possibilité de gérer le cas d’étudiant-es non immatriculé-es ou à statut particulier, en utilisant leur numéro temporaire en place et en lieu du numéro SIUS.

Pour arriver à cet objectif, nous avons configuré notre LMS (Learning Management System) Moodle de la façon suivante :
– Le « Prénom Nom » des étudiant-es a été remplacé par « Student {N° SIUS/N° Temporaire} »
– L’adresse email a été définie comme un champ appartenant à l’identité des personnes
– Nous avons retiré la permission aux « évaluateurs » de voir l’identité des personnes
– Nous avons maintenu la permission aux « gestionnaires » de voir l’identité des personnes

Le système de saisie des notes en ligne de l’Université de Genève a été mis à jour pour permettre aux évaluateurs/trices de soumettre des listes de numéros d’étudiant-es au lieu des adresses e-mail, qui révélaient auparavant l’identité des étudiant-es.

Comment cela a-t-il été organisé puis été généralisé ?

Nous avons débuté par la réalisation d’un pilote en Faculté de Psychologie et Sciences de l’éducation en 2023 afin de valider le concept et avant de le généraliser à l’ensemble des facultés et des types d’examen sur ordinateur.

Le projet a commencé en novembre 2022 par une pré-étude, le paramétrage de plateformes Moodle dans des environnements d’essai, la réalisation de tests et la rédaction d’une méthodologie et de diverses documentations.

Le premier examen pilote a eu lieu en janvier 2023. Pendant cette session d’examens, huit examens ont été conduits de cette manière sur une plateforme Moodle spécifique et dédiée aux évaluations anonymes.

À la suite de ce pilote, qui s’est déroulé sans problème, le rectorat de l’Université de Genève a décidé de généraliser ce processus à toutes les facultés.

Techniquement, la configuration de la plateforme Moodle anonyme a été propagée aux autres plateformes Moodle d’examens. Une documentation a été fournie à chaque faculté.

Problèmes rencontrés et défis

Voici un aperçu des défis rencontrés durant la conception et la mise en œuvre de ce projet. Certains de ces problèmes ont été entièrement résolus, comme par exemples les points 1 et 3, d’autres sont en phase d’implémentation, comme les points 4 et 5, tandis que le reste est encore en phase de discussion et de conception, comme le point 2.

Ces défis spécifiques ont été identifiés dans le cadre de la mise en œuvre de l’anonymisation des examens sur ordinateur à l’Université de Genève :

  1. La gestion des cas d’étudiant-es spéciaux qui ne disposent pas de numéro d’immatriculation SIUS.
    1. En utilisant à la fois le numéro interne à l’UNIGE d’un-e étudiant-e, lorsque celui-ci ne possède pas un numéro SIUS, nous avons ouvert la possibilité de réaliser des examens anonymes avec l’ensemble des étudiant-es de l’UNIGE.
  2. Les adaptations nécessaires pour les étudiant-es à besoins particuliers, où certains aspects (comme le temps supplémentaire ou l’utilisation d’une salle séparée) ne peuvent pas être dissimulés.
    1. Les examens sur ordinateur pour étudiant-es à besoins particuliers étaient une exception aux examens nécessaires d’anonymiser.
      Le défi d’anonymiser ces examens se situe autour du fait que la copie de ces étudiant-es se distingue en général facilement de celle des autres (format, support, temps disponible, etc.)
  3. Les erreurs potentielles des étudiant-es en inscrivant leur numéro d’identification sur les feuilles d’examen, particulièrement dans le cadre des examens Offline Quiz1 / Test Hors Ligne1, et l’absence d’une méthode de vérification secondaire.
  4. La difficulté rencontrée par les surveillant-es pour vérifier l’identité et la présence des étudiant-es tout en maintenant l’anonymat.
    1. Un pilote (cf. « prochaines étapes ») est en cours à la faculté de GSEM et nous avons pour but de le généraliser.
  5. Les documents (par exemple, des fichiers Microsoft Word) créés sur des ordinateurs authentifiés au nom de l’étudiant-e, dans le contexte d’examens devraient être anonymes.
    1. Une solution intermédiaire a été trouvée. Afin d’anonymiser correctement ces documents, nous faisons face à des problématiques liées à la licence du logiciel.

1 Offline Quiz / Test Hors Ligne est une activité Moodle existante, permettant aux enseignant-es de créer des examens sur ordinateur, qui sont ensuite imprimés et remplis par les étudiant-es sous la forme de cases à cocher. Les copies sont ensuite numérisées, puis automatiquement corrigées par Moodle. Pour plus d’informations, veuillez consulter la page suivante.

Prochaines étapes

Pour les prochaines étapes du projet, plusieurs objectifs ont été définis :

  • Le projet vise à améliorer l’automatisation pour la création d’espaces d’examen et l’inscription des étudiant-es d’une manière anonyme, à continuer à développer et améliorer la création et le paramétrage automatique des examens (gabarits SEB2 et API Moodle3) et de l’envoi des notes depuis Moodle vers le système de gestion d’informations des étudiant-es de l’Université de Genève (« SI-ETU »).
  • Le projet prévoit également d’élargir l’application d’un pilote déjà mis en place à la Geneva School of Economics and Management (GSEM). Ce pilote utilise une application mobile pour vérifier la présence et l’identité des étudiant-es, ainsi que pour s’assurer que les copies d’examen sont correctement rendues, tout en maintenant l’anonymat des étudiant-es. Cette initiative vise à améliorer l’intégrité et l’efficacité du processus d’examen, en utilisant la technologie mobile pour faciliter la gestion des évaluations anonymes.

Ces étapes visent à renforcer l’efficacité, la fiabilité et l’intégrité du processus d’examen à l’Université de Genève, en tirant parti des technologies modernes et des méthodes d’automatisation.

SEB (ou « Safe Exam Browser ») est « un environnement de navigation web permettant de réaliser des évaluations électroniques en toute sécurité. Le logiciel transforme temporairement n’importe quel ordinateur en poste de travail sécurisé. Il contrôle l’accès aux ressources telles que les fonctions du système, les autres sites web et les applications, et empêche l’utilisation de ressources non autorisées pendant un examen. » Les gabarits SEB sont des fichiers spécifiant quels sites internet et quels logiciels sont autorisés dans un scénario d’examen et mis à disposition des enseignant-es à travers la plateforme Moodle. Plus d’informations.

Moodle est un système de gestion de l’apprentissage (LMS) libre et gratuit. Moodle est utilisé pour l’apprentissage mixte, l’enseignement à distance, les classes inversées et d’autres projets d’apprentissage en ligne dans les écoles, les universités, les lieux de travail et d’autres secteurs. L’API de Moodle permet de gérer la plateforme, les contenus et leurs paramétrages de manière automatisée et à travers des outils informatiques.



Évaluation des connaissances et examens – Guide de pratiques et recommandations

Annoncée à distance, la prochaine session d’examen de janvier-février 2021 nécessite une organisation très particulière. Pour aider la communauté enseignante dans la préparation des examens, de nombreuses ressources ont été mises à disposition. Retrouvez toutes ces ressources pour bien organiser vos examens à distance:

Nous espérons que ces ressources pourrons vous être utiles et vous aiderons à préparer au mieux votre session d’examens!



Repenser l’Évaluation comme levier supplémentaire d’apprentissage au XXIe siècle – Appel à réflexion

La seconde phase d’enseignement à distance imposée par l’évolution de la pandémie de COVID-19 montre que loin d’être une simple parenthèse avant de revenir à la « normale », l’enseignement à distance et plus particulièrement les examens à distance vont devenir une pratique qui va s’imposer durablement et devenir de plus en plus courante en intégrant les méthodes pédagogiques des hautes écoles.

La question cruciale qui se pose dès lors est celle de la garantie de la qualité des diplômes délivrés. Dans le cas particulier des évaluations à distance, il s’agit de s’assurer des conditions dans lesquelles ces évaluations se déroulent et en particulier du contrôle d’identité des étudiants. Ceci est donc directement en lien avec des craintes de triches de toutes natures. A distance, signifie que l’étudiant est loin des yeux et que loin des yeux, il peut, et donc qu’il va forcément tricher. La solution qui semble largement adoptée pour y faire face consiste à rechercher des solutions purement « technicistes » aussi appelé « solutionnisme »[1]. Les examens à distance s’appuyant sur les technologies de l’information et de la communication, il est tentant d’avoir recours à ces technologies pour mettre les étudiants sous étroite surveillance avec comme objectif l’éradication de la triche. Ces méthodes sont regroupées sous le terme de « proctoring ». Elles visent à surveiller l’étudiant soit pour empêcher la triche, soit pour détecter la triche de façon la plus automatisée possible. Elles reposent sur des techniques de plus en plus sophistiquées qui complexifient pour les étudiants, mais aussi pour les enseignants la mise en place et le passage d’un examen. Elles posent aussi par principe une présomption de culpabilité pour l’étudiant, si ce n’est de tricher, au moins de vouloir tricher.



ANNULATION 12ème Barcamp: Les données numériques dans le contexte universitaire

Malheureusement, il n’y a pas suffisamment d’inscriptions pour que l’événement se déroule dans de bonnes conditions. Nous sommes donc dans l’obligation de l’annuler.

Nous espérons vous proposer prochainement un autre événement.



Partager ses questions, QTI un language pivot?

De nombreux outils proposent la fonction de création de tests, que ce soient les outils dédiés – LimeSurvey, Hot Potatoes – ou les outils génériques comme les LMS (Learning Management System) – Moodle, Chamilo.

La question du partage des données se pose dès que de nombreux outils proposent cette même fonction. Quoi de plus frustrant, en effet, que de devoir ressaisir manuellement son travail, simplement parce que la nouvelle application ne supporte pas le format de l’ancienne? Si le problème est simple les solutions, elles, le sont beaucoup moins. On peut diviser les problèmes rencontrés en deux grandes catégories: la question du format et celle des fonctionnalités.