Examen sur ordinateur: des initiatives dans les hautes écoles suisses

Tous les environnements numériques d’apprentissage disposent d’une fonction « Test » qui permet aux enseignants de créer un examen en ligne à partir de plusieurs types de questions. Par rapport à un examen sur papier ou oral, l’examen en ligne offre de nombreux avantages comme:

  • le multimédia: l’énoncé de la question peut être illustré par une vidéo (p. ex. démonstration d’un geste technique) ou un son (p. ex. son d’une pathologie du coeur),
  • l’interactivité: identification d’une zone cible sur une image (p. ex. un nodule cancéreux sur une radiographie), glisser/déposer d’étiquettes sur une image,
  • le commentaire immédiat: s’il s’agit d’un examen formatif, le commentaire sur la réponse peut être immédiat,
  • la correction automatique: mis à part les questions à réponse ouverte, toutes les questions dont les réponses sont basées sur un choix de l’étudiant peuvent être corrigées automatiquement,
  • l’indépendance de temps et de lieu: beaucoup d’étudiants peuvent passer l’examen en même temps et, selon les cas, quand et où ils le veulent.

Ces examens sont en général proposés aux étudiants à des fins formatives (formative assessment) pour qu’ils puissent évaluer leur degré de connaissance ou le degré de profondeur attendu. Toutefois, plusieurs facteurs empêchent l’utilisation de ce format pour les examens sanctionnés par une note (summative assessment). Les plus rédhibitoires concernent la sécurité informatique et la disponibilité de grandes salles équipées d’ordinateurs.

La suite de ce billet présente quelques initiatives prises dans les hautes écoles suisses pour faire passer des examens sanctionnés par une note sur un ordinateur.

Safe Exam Browser (SEB)

Dans le cadre du projet open source SEB, l’Ecole Polytechnique Fédérale de Zürich (ETHZ) a ajouté des fonctions aux navigateurs web existant pour empêcher l’étudiant d’aller surfer sur Internet pendant l’examen. Pour les ordinateurs sous Windows 7 ou XP, il s’agit d’une extension à Firefox; pour les ordinateurs sous Mac OS, il s’agit d’une version particulière de Safari. Une fois lancé, ces navigateurs sécurisés (SEB) s’ouvrent en plein écran et se connectent à une page définie des serveurs Moodle ou Ilias sur lequel l’examen a été préparé. Les raccourcis clavier permettant de fermer le navigateur, d’ouvrir d’autres programmes, d’imprimer ou faire des captures d’écran sont désactivés. Bref tout autre activité que celle de faire l’examen est empêchée. Du côté serveur, une extension à Moodle et Ilias permet de définir quels autres programmes peuvent être ouverts durant l’examen, par exemple, la calculatrice ou le tableur Excel. En pratique, les examens se déroulent dans des salles d’ordinateurs préparées à l’avance. A l’ETHZ, 4 salles d’environ 30 ordinateurs chacune permettent de faire passer le même examen à un maximum de 228 étudiants par jour (2 groupes de 114 étudiants, un groupe est retenu dans une salle pendant que l’autre passe les examens).
L’avantage de ce système est qu’il permet d’utiliser un environnement numérique d’apprentissage existant pour construire et faire passer un examen. Par contre ce système reste entièrement dépendant du bon fonctionnement du serveur et du réseau informatique le jour de l’examen et ne fournit aucune preuve que les réponses des étudiants n’ont pas été manipulées.

Secure Interactive Online eXam (SIOUX)

Afin de combler les lacunes identifiées ci-dessus, l’ETHZ à mis en route le projet SIOUX. Ce projet à l’ambition de développer, en Java, un système client-serveur couvrant toutes les étapes du processus d’examen: planification, développement, distribution, correction et analyse. Le premier effort a été de développer un mécanisme de cryptographie asymétrique assurant l’intégrité des données transmises entre le serveur et les clients. Le site web du projet n’indique pas l’état dans lequel se trouve le projet actuellement, mais une version limitée aux qcm fonctionne. SEB et SIOUX sont deux projets indépendants mais qui sont amené à se rapprocher.

Campus

Plus près de nous, pour des raisons d’économie de coût et de main d’oeuvre, de standardisation et d’une plus grande objectivité, la Faculté de médecine de l’Université de Genève a remplacé une partie de ses examens oraux par des examens en ligne à l’aide de CAMPUS. Dans sa version sophistiquée, CAMPUS permet de créer des patients virtuels. Dans sa version plus simple, elle permet de créer des cas cliniques constitués d’une suite logique de questions dépendantes, groupées en sections. Une fois que l’étudiant a validé ses réponses aux questions d’une section, il ne peut plus corriger ses choix car les questions de la section suivante contiennent des informations (par exemples des résultats de laboratoire) qui lui permettrait de répondre correctement aux questions précédentes. Ce scénario d’examen permet d’évaluer le raisonnement de l’étudiant et peut s’appliquer à toute situation où l’étudiant doit résoudre un problème. Il peut naturellement aussi être utilisé pour un examen qcm plus traditionnel.

CAMPUS est un système client-serveur Java fonctionnant sous Windows et développé par la Faculté de médecine de l’Université de Heidelberg. Cette suite logicielle a trois composantes principales:

  1. un logiciel auteur permettant de créer les questions, l’examen et de gérer la liste des candidats. Un examen est exporté sous la forme d’un fichier .zip qui sera importé dans le logiciel serveur quelques jours avant l’examen.
  2. un logiciel serveur léger pour distribuer l’examen sur les clients et récolter les données envoyées par ces derniers
  3. un logiciel client installé sur les ordinateurs utilisés par les étudiants pour passer l’examen

Par rapport au couple SEB/Moodle(Ilias), Campus a trois désavantages: il nécessite l’apprentissage d’un nouveau système auteur et le paiement d’une licence annuelle (peu onéreuse). Bien que CAMPUS puisse fonctionner avec une base de donnée centrale et  que le logiciel auteur puisse être utilisé au travers d’un nagigateur web grâce à la technologie Java Web Start, à la faculté de médecine nous installons la suite logicielle complète sur les postes des enseignants qui en font la demande.

Par contre, en terme de sécurité, CAMPUS offre des garanties remarquables:

  • indépendance de l’état du réseau et du serveur le jour de l’examen
    • une fois l’examen construit à l’aide du logiciel auteur, celui-ci est distribué par le serveur sur tous les clients connectés. Par mesure de sécurité, cette distribution se fait le jour avant l’examen,
    • pendant l’examen, les réponses des étudiants sont stockées à la fois sur les postes clients (fichier xml et captures d’écran) et sur le serveur. Ce double enregistrement offre les avantages suivants:
      • si l’ordinateur utilisé par l’étudiant tombe en panne, ce dernier peut continuer sur un autre ordinateur libre de la salle d’examen
      • si le réseau a quelques interruptions, les données stockées sur les clients sont envoyées sur le serveur dès que le réseau est rétabli
      • si le serveur tombe en panne, il suffit d’installer le logiciel serveur sur n’importe quel PC tournant sous Windows et d’y transférer une copie de la base de donnée faite avant l’examen. Le nouveau serveur récupèrera automatiquement les données des clients.
      • au pire, on peut récupérer manuellement, sur une clé USB par exemple, toutes les données des clients et les importer ensuite dans la base de données.
  • justiciabilité de l’examen
    • Lorsqu’une section est validée par l’étudiant, le logiciel client fait une capture d’écran tamponnée du nom de l’étudiant, du numéro de l’ordinateur utilisé et de la date. Toutes ces captures d’écran sont assemblées en une archive protégée par mot de passe envoyée au serveur et, si souhaité, à l’étudiant. Ceci fournit une preuve physique des choix que l’étudiant a fait durant l’examen.

A la Faculté de médecine, ce système rencontre un vif succès auprès des enseignants si bien qu’une grande salle a été équipée d’une soixantaine de PC afin de pouvoir faire passer une demi-volée d’étudiants, voir une volée entière si l’une des moitiés est retenue dans une salle.

SIG e-assessment

Pour finir cet état des lieux non exhaustif, on peut signaler qu’une communauté d’intérêt pour les examens en ligne s’est constituée en 2009 à la suite de la première édition des eduhub days organisés par SWITCH.