• Séminaire TECF'AGORA
    Séminaire TECF'AGORA (jeudi 29 février 2024): IA et rétroactions dans les environnements numériques d'apprentissage.
  • Séance ouverte de la CIP
    Séance ouverte de la CIP: Présentation des finalistes du prix de l’innovation pédagogique 2023
  • Makeiteasy
    Une plateforme pour tester et améliorer vos compétences numériques à votre rythme
  • Ateliers pour votre doctorat
    N'hésitez pas à vous inscrire et découvrez notre offre complète d'ateliers pour votre doctorat !
  • Ciel cherche: rédacteurs/trices

Tag : e-assessment

Mise en oeuvre de l’anonymisation des plateformes d’examen

Selon l’article 18A de la Loi sur l’Université, entré en vigueur le 10 décembre 2022, l’Université fixe des modalités d’examens qui garantissent un traitement équitable des étudiantes et étudiants. Dans la mesure du possible, l’évaluation des examens écrits est anonymisée.

Pourquoi anonymiser ?

Lors du processus d’évaluation d’une copie d’examen, les enseignant-es ou évaluateurs/trices peuvent être involontairement influencé-es par le fait de connaître l’identité de l’étudiant-e évalué-e. Des biais cognitifs peuvent survenir.

Il a donc été décidé que tous les examens nécessitant une correction manuelle de la part des évaluateurs/trices devraient être anonymisés afin d’apporter une solution à ces problématiques. Ceci pourrait venir à être généralisé aux autres types d’examens sur ordinateur.

La solution proposée devait également prendre en considération la directive adoptée le 9 janvier 2023 par le Rectorat de l’Université de Genève.

L’anonymisation des examens écrits se base sur trois principes :

  • Acceptabilité : la mise en œuvre doit être fonctionnelle pour l’ensemble des parties prenantes soit le corps enseignant, le personnel administratif et technique et le corps étudiant
  • Présomption d’honnêteté : l’enjeu n’est pas de lutter contre d’hypothétiques malveillances mais contre les biais involontaires d’évaluation
  • Simplicité de la mise en œuvre pour l’ensemble des parties prenantes

Comment cela a-t-il été réalisé techniquement ?

La solution à proposer devait se baser sur le numéro SIUS (Système d’Information Universitaire Suisse) de chaque étudiant-e, numéro unique attribué à un-e étudiant-e immatriculé-e. Elle devait, en résumé, garantir que ce numéro était visible à toutes fins de vérification de l’étudiant-e, et que ses données personnelles (prénom, nom, email ou autres) étaient invisibles aux évaluateurs/trices.

Nous avons ensuite ajouté la possibilité de gérer le cas d’étudiant-es non immatriculé-es ou à statut particulier, en utilisant leur numéro temporaire en place et en lieu du numéro SIUS.

Pour arriver à cet objectif, nous avons configuré notre LMS (Learning Management System) Moodle de la façon suivante :
– Le « Prénom Nom » des étudiant-es a été remplacé par « Student {N° SIUS/N° Temporaire} »
– L’adresse email a été définie comme un champ appartenant à l’identité des personnes
– Nous avons retiré la permission aux « évaluateurs » de voir l’identité des personnes
– Nous avons maintenu la permission aux « gestionnaires » de voir l’identité des personnes

Le système de saisie des notes en ligne de l’Université de Genève a été mis à jour pour permettre aux évaluateurs/trices de soumettre des listes de numéros d’étudiant-es au lieu des adresses e-mail, qui révélaient auparavant l’identité des étudiant-es.

Comment cela a-t-il été organisé puis été généralisé ?

Nous avons débuté par la réalisation d’un pilote en Faculté de Psychologie et Sciences de l’éducation en 2023 afin de valider le concept et avant de le généraliser à l’ensemble des facultés et des types d’examen sur ordinateur.

Le projet a commencé en novembre 2022 par une pré-étude, le paramétrage de plateformes Moodle dans des environnements d’essai, la réalisation de tests et la rédaction d’une méthodologie et de diverses documentations.

Le premier examen pilote a eu lieu en janvier 2023. Pendant cette session d’examens, huit examens ont été conduits de cette manière sur une plateforme Moodle spécifique et dédiée aux évaluations anonymes.

À la suite de ce pilote, qui s’est déroulé sans problème, le rectorat de l’Université de Genève a décidé de généraliser ce processus à toutes les facultés.

Techniquement, la configuration de la plateforme Moodle anonyme a été propagée aux autres plateformes Moodle d’examens. Une documentation a été fournie à chaque faculté.

Problèmes rencontrés et défis

Voici un aperçu des défis rencontrés durant la conception et la mise en œuvre de ce projet. Certains de ces problèmes ont été entièrement résolus, comme par exemples les points 1 et 3, d’autres sont en phase d’implémentation, comme les points 4 et 5, tandis que le reste est encore en phase de discussion et de conception, comme le point 2.

Ces défis spécifiques ont été identifiés dans le cadre de la mise en œuvre de l’anonymisation des examens sur ordinateur à l’Université de Genève :

  1. La gestion des cas d’étudiant-es spéciaux qui ne disposent pas de numéro d’immatriculation SIUS.
    1. En utilisant à la fois le numéro interne à l’UNIGE d’un-e étudiant-e, lorsque celui-ci ne possède pas un numéro SIUS, nous avons ouvert la possibilité de réaliser des examens anonymes avec l’ensemble des étudiant-es de l’UNIGE.
  2. Les adaptations nécessaires pour les étudiant-es à besoins particuliers, où certains aspects (comme le temps supplémentaire ou l’utilisation d’une salle séparée) ne peuvent pas être dissimulés.
    1. Les examens sur ordinateur pour étudiant-es à besoins particuliers étaient une exception aux examens nécessaires d’anonymiser.
      Le défi d’anonymiser ces examens se situe autour du fait que la copie de ces étudiant-es se distingue en général facilement de celle des autres (format, support, temps disponible, etc.)
  3. Les erreurs potentielles des étudiant-es en inscrivant leur numéro d’identification sur les feuilles d’examen, particulièrement dans le cadre des examens Offline Quiz1 / Test Hors Ligne1, et l’absence d’une méthode de vérification secondaire.
  4. La difficulté rencontrée par les surveillant-es pour vérifier l’identité et la présence des étudiant-es tout en maintenant l’anonymat.
    1. Un pilote (cf. « prochaines étapes ») est en cours à la faculté de GSEM et nous avons pour but de le généraliser.
  5. Les documents (par exemple, des fichiers Microsoft Word) créés sur des ordinateurs authentifiés au nom de l’étudiant-e, dans le contexte d’examens devraient être anonymes.
    1. Une solution intermédiaire a été trouvée. Afin d’anonymiser correctement ces documents, nous faisons face à des problématiques liées à la licence du logiciel.

1 Offline Quiz / Test Hors Ligne est une activité Moodle existante, permettant aux enseignant-es de créer des examens sur ordinateur, qui sont ensuite imprimés et remplis par les étudiant-es sous la forme de cases à cocher. Les copies sont ensuite numérisées, puis automatiquement corrigées par Moodle. Pour plus d’informations, veuillez consulter la page suivante.

Prochaines étapes

Pour les prochaines étapes du projet, plusieurs objectifs ont été définis :

  • Le projet vise à améliorer l’automatisation pour la création d’espaces d’examen et l’inscription des étudiant-es d’une manière anonyme, à continuer à développer et améliorer la création et le paramétrage automatique des examens (gabarits SEB2 et API Moodle3) et de l’envoi des notes depuis Moodle vers le système de gestion d’informations des étudiant-es de l’Université de Genève (« SI-ETU »).
  • Le projet prévoit également d’élargir l’application d’un pilote déjà mis en place à la Geneva School of Economics and Management (GSEM). Ce pilote utilise une application mobile pour vérifier la présence et l’identité des étudiant-es, ainsi que pour s’assurer que les copies d’examen sont correctement rendues, tout en maintenant l’anonymat des étudiant-es. Cette initiative vise à améliorer l’intégrité et l’efficacité du processus d’examen, en utilisant la technologie mobile pour faciliter la gestion des évaluations anonymes.

Ces étapes visent à renforcer l’efficacité, la fiabilité et l’intégrité du processus d’examen à l’Université de Genève, en tirant parti des technologies modernes et des méthodes d’automatisation.

SEB (ou « Safe Exam Browser ») est « un environnement de navigation web permettant de réaliser des évaluations électroniques en toute sécurité. Le logiciel transforme temporairement n’importe quel ordinateur en poste de travail sécurisé. Il contrôle l’accès aux ressources telles que les fonctions du système, les autres sites web et les applications, et empêche l’utilisation de ressources non autorisées pendant un examen. » Les gabarits SEB sont des fichiers spécifiant quels sites internet et quels logiciels sont autorisés dans un scénario d’examen et mis à disposition des enseignant-es à travers la plateforme Moodle. Plus d’informations.

Moodle est un système de gestion de l’apprentissage (LMS) libre et gratuit. Moodle est utilisé pour l’apprentissage mixte, l’enseignement à distance, les classes inversées et d’autres projets d’apprentissage en ligne dans les écoles, les universités, les lieux de travail et d’autres secteurs. L’API de Moodle permet de gérer la plateforme, les contenus et leurs paramétrages de manière automatisée et à travers des outils informatiques.



QCMs papier avec correction automatisée

Le pôle E-learning met à disposition de toutes les facultés depuis de début de cette année un nouveau module dans Moodle qui permet de réaliser des questionnaires à choix multiples (QCM) papier. Ce module rend donc possible l’organisation d’examens sur papier avec une correction automatisée à l’aide de Moodle. Le quiz hors-ligne permet aux étudiants de répondre aux questions d’examens sur une feuille de papier (le formulaire de réponse) en salle sèche. Les formulaires de réponse des étudiants sont ensuite digitalisés et corrigés automatiquement directement dans Moodle Examens.

Par rapport à d’autres système qui sont utilisés par les facultés, le premier grand avantage de ce nouveau module est sa compatibilité de fonctionnement avec tous les copieurs et imprimantes de l’Université. Il n’est plus nécessaire d’utiliser une salle dédiée,  qui est typiquement sur-occupée durant les périodes d’examens. Un deuxième avantage, non négligeable, est la familiarité de nombreux utilisateurs, depuis la crise COVID,  avec la création de QCM en ligne avec Moodle. Le changement pour faire des QCM papier ne demande pas ou peu d’apprentissage supplémentaire. La formation des utilisateurs s’en trouve donc très simplifiée.



Évaluation des connaissances et examens – Guide de pratiques et recommandations

Annoncée à distance, la prochaine session d’examen de janvier-février 2021 nécessite une organisation très particulière. Pour aider la communauté enseignante dans la préparation des examens, de nombreuses ressources ont été mises à disposition. Retrouvez toutes ces ressources pour bien organiser vos examens à distance:

Nous espérons que ces ressources pourrons vous être utiles et vous aiderons à préparer au mieux votre session d’examens!



e-Assessment – perspectives et problématiques

Retour sur les eduhub-days 2017 à Lugano

En mode BYOD

La question du e-assessment en « BYOD » (Bring Your Own Device), qui désigne le fait de faire passer les examens aux étudiant·e·s sur leurs propres ordinateurs et/ou tablettes, s’est posée à plusieurs reprises dans les ateliers. Ce cas de figure présente de prime abord des avantages certains :

  • Pour l’institution, il résout des problèmes de logistique (pas de parc informatique à maintenir et réserver pour les examens)
  • Pour l’étudiant·e, il permet de passer l’examen sur un environnement avec lequel il/elle est à l’aise. On peut penser par exemple au cas où le clavier des salles institutionnelles n’est pas forcément le même que celui auquel est habitué·e l’étudiant·e.
  • Des solutions techniques rendent cette configuration possible aujourd’hui (par exemple version pour BYOD de Safe Exam Browser)

Cependant, des limites apparaissent assez vite et doivent prises en compte au cas par cas :

  • En fonction des applications qui sont utilisées pendant l’examen, un·e étudiant·e avec un équipement plus performant pourrait être avantagé·e par rapport aux autres
  • D’un point de vue juridique, il n’est pas évident d’obliger à installer un logiciel qui bloquera temporairement la machine. De plus, dans le cas où un problème se produirait suite à l’installation du logiciel, la responsabilité de l’établissement pourrait être engagée.
  • Enfin, il faut veiller à ce que les salles disposent de suffisamment de prises électriques et d’une bande passante WIFI suffisante.

Examens en-ligne: sécurité et aspects légaux

Outre les aspects spécifiques à l’enseignement à distance, deux préoccupations sont régulièrement au centre du débat sur l’e-Assessment.

Authentification et sécurité

Il s’agit d’abord de s’assurer que le ou la candidate est bien la personne qui a suivi le cursus et qui est habilitée à obtenir titre ou crédit. Ensuite, qu’elle ne dispose que des ressources autorisées et qu’elle ne se fait pas aider par un tiers.

Des système existent (et sont constamment améliorés) pour garantir l’authenticité du/de la candidat∙e. Outre l’utilisation de webcams, il peut être demandé aux candidat∙e∙s d’établir un «typing pattern» en re-copiant un texte en début de cours. D’autres systèmes se basent sur des éléments biométriques, qui, en théorie, pourraient aller de l’empreinte digitale au scan de l’iris ou autre reconnaissance faciale. Une dernière possibilité consiste à faire passer les examens dans des institutions agréées, dans lesquelles l’identité vient à être vérifiée. Comme on peut bien l’imaginer, les coûts marginaux explosent assez vite en fonction du degré de précision et de fiabilité exigé.

En aval de l’examen, l’institution doit garantir l’intégrité des données: il ne doit subsister aucun doute que les informations saisies par l’examiné∙e sont bien celles que l’institution aura reçues. De plus, toutes ces données doivent être conservées dans leur forme originale, afin de pouvoir les produire en cas de recours, notamment. L’infrastructure doit fonctionner sans faille, sur toute la durée de l’examen et garantir un traitement équitable des candidats.

Aspects juridiques

La complexité technique et procédurale des examens en ligne est subordonnée aux impératifs d’ordre juridique. En premier lieu, si l’institution veut vérifier l’identité des candidat∙e∙s en collectant et traitant des données personnelles, elle doit respecter la législation sur la protection des données. Ensuite, elle doit garantir un traitement équitable et objectif lors de procédures de recours. Enfin, elle doit pouvoir prouver au besoin qu’elle a mis les candidat·e·s sur un pied d’égalité.

Les spécialistes s’accordent pour reconnaître les difficultés liées à la démarche: au final, le recul n’est sans doute pas encore suffisant pour décider du niveau du contrôle, tant il est vrai que des titres universitaires, rigoureusement falsifiés, sont toujours et encore disponibles sur le marché noir…

Au final, l’enjeu est pris très au sérieux par les institutions qui se lancent dans l’e-Assessment: un examen annulé suite à une panne informatique, par exemple, a un effet dévastateur sur leur renommée.

e-Portfolio comme outils d'e-Assessment

Parmi les différentes formes d’évaluation formative, celle qui se base sur l’usage du ePortfolio réflexif offre un grand potentiel pour les étudiant·e·s.

Cette solution a été mise en place à la haute école pédagogique de la Fachhochschule Nordwestschweiz. Concrètement, tout au long de son cursus académique, les futur·e·s enseignant·e·s du secondaire sont amené·e·s à poser des réflexions sur les cours et les stages qu’ils et elles suivent. Ces réflexions leur permettent d’identifier les connaissances et les compétences acquises ainsi que leurs forces et leurs faiblesses. Ces réflexions sont ensuite évaluées par l’enseignant·e. Le retour qui est apporté par ce dernier, pilier essentiel du dispositif d’évaluation formative, doit être clair, précis et sa fréquence doit être soutenue. Les commentaires doivent porter avant tout sur les éléments intéressants de la réflexion ainsi que sur les questions qui n’ont pas encore été traitées par l’étudiant·e.

Mise en place depuis le mois de juillet 2016, ce projet pilote sera évalué à la fin de semestre de printemps 2017.

Introduction du service e-assessment à l'UNIGE

Un projet pilote sur l’e-assessment à l’Université de Genève, qui s’inscrit pleinement dans la stratégie de l’Université numérique, a été initié en janvier 2016. Ce projet adresse les nombreuses questions sous-jacentes à cette modalité d’examen qui est en forte demande depuis 2013 par le corps enseignant. Les sessions pilotes réalisées à ce jour ont montré l’importance de mettre en place la chaîne de support et d’impliquer les correspondant·e·s informatiques (support de proximité), condition sine qua non pour assurer un déroulement optimum des sessions d’examen, mais aussi des sessions de tests préalables.
Sur le plan logistique, les pilotes ont montré les limites concernant la question de la disponibilité des salles équipées, ils ont permis également de soulever des questions d’aménagement (aération, sécurité pour des classes de plus de 60 étudiant·e·s, gestion des réservations, etc.) ce qui a amené à revoir la vision de l’infrastructure dédiée aux examens en ligne et de s’orienter vers l’option BYOD qui est certes plus ambitieuse et risquée, mais sur le long terme elle sera probablement plus réaliste si on considère que les étudiant·e·s pour une large majorité possèdent un ordinateur portable. Cette approche prévoit également une infrastructure centrale adaptée pour le déploiement de machines virtuelles.

Ce billet a été rédigé collaborativement par Omar Benkacem, Pierre Lehmann, Patrick Roth et Elsa Sancey.



Technologie, contenu et pédagogie : la numérisation en formation continue

Le séminaire d’automne 2016 Digitalisation in university continuing education: technology, content and pedagogy organisé à Barcelone par eucen | European University Continuing Education Network en collaboration avec EDEN | European Distance and E-Learning Network s’est centré sur les enjeux et sur les changements apportés par la numérisation dans l’enseignement universitaire, et plus particulièrement en formation continue. Plus de 80 participant∙e∙s d’universités européennes et internationales se sont réuni∙e∙s autour de cette thématique d’une brûlante actualité.

Des enjeux complexes pour les universités

Albert Sangrà, Directeur académique de l’Université ouverte de Catalogne et détenteur de la chaire en éducation et technologie pour le changement social de l’UNESCO  a commencé par décliner les innombrables opportunités que représente la numérisation pour l’éducation et pour tout un chacun, comme par exemple l’accessibilité de la formation (en particulier pour les pays en développement), l’augmentation potentielle du nombre d’étudiant∙e∙s pour les universités, la flexibilité des parcours de formation, la multitude d’occasions d’auto-formation et les possibilités d’acquisition de compétences transversales augmentant l’employabilité. Pour compléter le paysage, il a explicité plusieurs risques importants liés à cette évolution, dont il est important d’avoir conscience, notamment :

  • la massification de l’éducation et les Big data : comment assurer la protection de la vie privée avec l’existence de cette multitude de données sur les étudiant∙e∙s?
  • le risque d’«ubérisation» de la formation : qui produit le savoir, pour qui et comment ? la numérisation ouvre la porte à d’innombrables prestataires de service et introduit le risque d’une perte de professionnalisme et de qualité dans l’offre de formation. Citons par exemple le rôle de l’enseignant∙e qui se trouve bouleversé, et la différence entre information et formation toujours plus ténue.