Je reprends cependant la plume pour donner quelques exemples de ce que le learning analytics permet de faire:

• Accompagner la mise en place d’enseignement individualisé en adaptant le parcours d’apprentissage et les activités et ressources proposées selon les actions de l’étudiant-e.
• Contribuer à l’amélioration continue d’une formation en analysant l’évolution du niveau de compétences des étudiant-es tout au long de leur parcours de formation.
• Mettre en regard les compétences visées dans une formation et les compétences demandées sur le marché du travail.
• Participer au contrôle qualité d’une formation en monitorant le taux de rétention, l’évolution des notes ou la comparaison des résultats obtenus par les étudiant-es de différentes volées.

En bref, là où il y a des traces numériques et des informations accessibles en ligne, le learning analytics permet de les synthétiser, de les analyser et de les utiliser à différentes fins. Les destinataires de ces analyses peuvent être aussi bien les étudiant-es que les enseignant-es, les responsables de formations, doyen-nes, recteurs ou rectrices.

Il va sans dire que l’exploitation de traces en éducation pose – ou devrait poser – des questions aussi bien stratégiques et politiques que pédagogiques et éthiques. Il s’agit non seulement de la confidentialité et de la protection des données, mais aussi de l’approche pédagogique qui sera encouragée ou non par ces outils. Ils peuvent servir aussi bien une normativité restrictive qu’une grande créativité, ouvrir un champ des possibles, mais aussi parfois un champ de mines. La série d’articles « Learning Analytics and AI: Politics, Pedagogy and Practices » donne un bon tour d’horizon et la checklist DELICATE  proposée par  Drachsler et Greller me semblent être des guides utiles pour se poser les bonnes questions concernant l’objectif, le respect de la vie privée et la protection des données lorsqu’on souhaite lire et analyser des traces numériques ou des informations en ligne.

Lire aussi:
Les Learning Analytics : un phénomène en expansion dans l’enseignement supérieur (Hausman 2019, présentation aux ABC Days Louvain-la Neuve)

Pour plusieurs domaines dans lesquels les étudiant-es peuvent avoir des difficultés, il existe des traces, numériques ou non. Si on reprend les exemples de mon assistant conversationnel, on comprend par exemple que le suivi des activités sur Moodle et de la présence en ligne permettent d’identifier des types de difficultés comme une perte de motivation, des difficultés à s’organiser dans ses études, une compétence communicationnelle peu professionnelle, des lacunes dans les connaissances théoriques ou dans le savoir-faire. Un groupe de suivi et de soutien aux étudiant-es peut alors proposer des solutions adaptées à ces différentes situations.

Le choix des indicateurs pour identifier une personne qui a des difficultés dans ses études dépendra des types de difficulté que l’on souhaite identifier, et des moyens qui peuvent être mis en œuvre lorsque l’indicateur est au rouge. Dans l’exemple de l’outil « Ma réussite » cité plus haut, l’approche se base sur le fait reconnu que l’activité en ligne dans un cours a une valeur prédictive pour la réussite. Les indicateurs sont donc centrés sur le nombre d’accès au site du cours, le nombre de pages consultées, de documents téléchargés, l’activité sur les forums etc. Ces informations sont complétées par les résultats d’évaluation dès qu’ils sont disponibles. Il s’agit donc d’une approche prédictive qui permet à l’étudiant-e, si l’indicateur pour un cours est orange ou rouge, de prendre des mesures jugées adéquates pour améliorer ses chances de réussite.

Ce portfolio est aligné avec le référentiel national des compétences pour les études de médecine en Suisse, PROFILES. Il est utilisé dès la deuxième année du bachelor et jusqu’à l’année de stage en dernière année d’études et comprend des formulaires où sont documentées et évaluées les activités des étudiant-es dans plusieurs domaines de compétences:

Connaissances théoriques: L’érudition et l’expertise médicale sont évaluées dans le portfolio lors des stages. Il est évident que le groupe de suivi et de soutien dispose également des évaluations des tests et examens écrits qui leur permettent d’identifier les étudiant-es en échec.

Professionnalisme: Dès la seconde année d’études, la présence et le comportement d’apprentissage lors des tutorats en petits groupes sont évalués par les tuteurs dans le GPS. L’attitude professionnelle est également évaluée par les enseignant-es lors des séances des patients simulés ou dans les années master lors de l’apprentissage en milieu clinique.

Communication: La communication avec les patient-es et leurs familles, mais aussi avec les autres professionnels de la santé est une compétence centrale qui est évaluée par les superviseurs dans le GPS à l’aide d’échelles adaptées pour mesurer l’évolution de l’autonomie des étudiant-es en utilisant les « Entrustable Professional Activities » (EPAs)

Savoir-faire et gestes techniques: Ce domaine comprend la capacité de faire un examen physique et d’accomplir les gestes techniques définis dans le référentiel de compétences. En bachelor 2 et 3 cette compétence est évaluée à l’aide d’une échelle ad hoc lors de l’entraînement avec des patient-es simulé-es. En master, l’évaluation documente l’évolution de l’autonomie pour les gestes techniques.

Ces éléments du portfolio GPS permettent de définir des indicateurs pour identifier les différents types de difficulté décrits plus haut. Ces indicateurs ne sont donc pas prédictifs comme dans l’exemple « Ma réussite », ils suivent une approche diagnostique qui doit permettre une intervention ciblée du groupe de soutien. Cette intervention sera  différente lors de lacunes de connaissances, de problèmes de communication ou d’attitude professionnelle.

Le défi actuellement est de définir pour chaque indicateur la valeur seuil qui aura la meilleure spécificité et sensibilité, c’est à dire qui trouvera tous les étudiant-es ayant vraiment des difficultés (vrais positifs) en excluant les étudiant-es qui n’en ont pas (vrais négatifs).

Depuis le printemps 2021, les éléments du portfolio sont analysés chaque semestre pour les étudiant-es en bachelor 2 et 3 ainsi que pour les étudiant-es en première année master pour identifier les d’étudiant-es qui sont sous les valeurs seuil définies. Leur dossier est alors examiné par le groupe de suivi et de soutien qui confirme ou non la présence d’une difficulté et nous permet ainsi de calibrer les indicateurs. Les étudiant-es pour lesquelles une difficulté a été identifiée sont alors contacté-es par le groupe de suivi et de soutien, comme lorsqu’une difficulté est identifiée par un autre chemin (suggestion d’un-e tuteur, tutrice ou superviseur-e, demande des étudiant-es).

Cette première exploration des traces dans le portfolio électronique des étudiant-es en médecine est prometteuse, car elle permet d’identifier certain-es étudiant-es ayant besoin d’un suivi qui n’auraient peut-être pas été identifié-es par d’autres moyens.

Elle présente également des perspectives intéressantes pour le learning analytics, qui permettrait d’automatiser certaines analyses et de mettre à disposition des étudiant-es des infographies leur permettant de corriger leurs stratégies d’apprentissage ou d’identifier leur besoin de s’adresser au groupe de suivi et de soutien.

Bien entendu, les bases juridiques assurant que cette démarche est bien conforme aux lois qui s’appliquent à l’université ont été clarifiées et un formulaire d’information aux étudiant-es a été intégré au module d’introduction au GPS qui doit être suivi lors de la première utilisation.