Learning analytics ou comment lire les traces numériques pour aider les étudiant-e-s en difficulté?

En éducation supérieure comme ailleurs, ces traces, combinées à certaines informations enregistrées en cours de formation, peuvent être analysées à différentes fins. C’est ce qu’on appelle learning analytics, un domaine d’exploration proche des intelligences artificielles (IA). Si on demande à un de ces outils d’IA les plus connus actuellement (il s’agit bien sûr de ChatGPT):  « Fais une liste des approches en learning analytics utilisées au niveau universitaire dans le monde » (Requête du 5 avril 2023), il propose une liste assez complète:

Je reprends cependant la plume pour donner quelques exemples de ce que le learning analytics permet de faire:

• Accompagner la mise en place d’enseignement individualisé en adaptant le parcours d’apprentissage et les activités et ressources proposées selon les actions de l’étudiant-e.
• Contribuer à l’amélioration continue d’une formation en analysant l’évolution du niveau de compétences des étudiant-es tout au long de leur parcours de formation.
• Mettre en regard les compétences visées dans une formation et les compétences demandées sur le marché du travail.
• Participer au contrôle qualité d’une formation en monitorant le taux de rétention, l’évolution des notes ou la comparaison des résultats obtenus par les étudiant-es de différentes volées.

En bref, là où il y a des traces numériques et des informations accessibles en ligne, le learning analytics permet de les synthétiser, de les analyser et de les utiliser à différentes fins. Les destinataires de ces analyses peuvent être aussi bien les étudiant-es que les enseignant-es, les responsables de formations, doyen-nes, recteurs ou rectrices.

Un exemple est le programme « Ma réussite » utilisé à l’Université de Laval. Cet outil agrège plusieurs traces numériques de la participation estudiantine avec les résultats aux tests pour générer un indicateur qui peut être vert si tout va bien, orange s’il faut être attentif ou rouge si le risque d’échec est élevé. Ces indicateurs sont visibles pour chaque étudiant-e lorsqu’il ou elle visualise sa liste de cours sur la plateforme d’apprentissage de l’université. Ils sont également visibles pour les enseignant-es et les directions de programme, leur permettant un suivi en temps réel du déroulement des cours. Les informations sur ces indicateurs sont toujours accompagnées des adresses des contacts (direction de programme, enseignant-es, assistant-es) et d’une liste de ressources à disposition.

Il va sans dire que l’exploitation de traces en éducation pose – ou devrait poser – des questions aussi bien stratégiques et politiques que pédagogiques et éthiques. Il s’agit non seulement de la confidentialité et de la protection des données, mais aussi de l’approche pédagogique qui sera encouragée ou non par ces outils. Ils peuvent servir aussi bien une normativité restrictive qu’une grande créativité, ouvrir un champ des possibles, mais aussi parfois un champ de mines. La série d’articles « Learning Analytics and AI: Politics, Pedagogy and Practices » donne un bon tour d’horizon et la checklist DELICATE  proposée par  Drachsler et Greller me semblent être des guides utiles pour se poser les bonnes questions concernant l’objectif, le respect de la vie privée et la protection des données lorsqu’on souhaite lire et analyser des traces numériques ou des informations en ligne.

Lire aussi:
Les Learning Analytics : un phénomène en expansion dans l’enseignement supérieur (Hausman 2019, présentation aux ABC Days Louvain-la Neuve)

Un enjeu important en enseignement supérieur est d’identifier le plus tôt possible les étudiant-es en difficulté. Cette identification précoce ainsi qu’un « diagnostic » du type de difficulté permet de proposer à ces étudiant-es des solutions adaptées selon le domaine concerné: lacunes dans les connaissances théoriques, dans le raisonnement et la pensée critique, l’organisation, le savoir-faire ou le savoir-être. Selon le type de difficultés identifié, cet accompagnement des étudiant-es permet de trouver des solutions dans la majorité des cas. Il y a des exceptions comme l’identification d’une situation problématique au niveau socio-économique, psychologique ou psychiatrique pour lesquels les services externes correspondants seront proposés. Il faut souligner que les étudiant-es présentent souvent plusieurs types de difficultés en parallèle.

Pour plusieurs domaines dans lesquels les étudiant-es peuvent avoir des difficultés, il existe des traces, numériques ou non. Si on reprend les exemples de mon assistant conversationnel, on comprend par exemple que le suivi des activités sur Moodle et de la présence en ligne permettent d’identifier des types de difficultés comme une perte de motivation, des difficultés à s’organiser dans ses études, une compétence communicationnelle peu professionnelle, des lacunes dans les connaissances théoriques ou dans le savoir-faire. Un groupe de suivi et de soutien aux étudiant-es peut alors proposer des solutions adaptées à ces différentes situations.

Le choix des indicateurs pour identifier une personne qui a des difficultés dans ses études dépendra des types de difficulté que l’on souhaite identifier, et des moyens qui peuvent être mis en œuvre lorsque l’indicateur est au rouge. Dans l’exemple de l’outil « Ma réussite » cité plus haut, l’approche se base sur le fait reconnu que l’activité en ligne dans un cours a une valeur prédictive pour la réussite. Les indicateurs sont donc centrés sur le nombre d’accès au site du cours, le nombre de pages consultées, de documents téléchargés, l’activité sur les forums etc. Ces informations sont complétées par les résultats d’évaluation dès qu’ils sont disponibles. Il s’agit donc d’une approche prédictive qui permet à l’étudiant-e, si l’indicateur pour un cours est orange ou rouge, de prendre des mesures jugées adéquates pour améliorer ses chances de réussite.

Comme dans d’autres centres universitaires, le curriculum de médecine à Genève comprend de vastes connaissances théoriques à assimiler, mais aussi des compétences communicationnelles, des savoir-faire et une grande responsabilité professionnelle. Ces études sont exigeantes et les enjeux sont importants pour les étudiant-es, la Faculté, les hôpitaux universitaires et aussi la société qui a besoin de médecins qualifiés. Il va de soi que lors de leurs études, certains étudiant-es peuvent rencontrer des difficultés et avoir besoin du soutien du groupe de suivi et de soutien de la Faculté. En analysant les types de difficultés les plus fréquentes chez les étudiant-es en médecine ainsi que les outils numériques couramment utilisés tout au long des études, les traces récoltées dans le portfolio électronique (Geneva Portfolio support GPS) nous ont semblé intéressantes pour une analyse permettant d’identifier le plus tôt possible les étudiant-es en difficulté.

Ce portfolio est aligné avec le référentiel national des compétences pour les études de médecine en Suisse, PROFILES. Il est utilisé dès la deuxième année du bachelor et jusqu’à l’année de stage en dernière année d’études et comprend des formulaires où sont documentées et évaluées les activités des étudiant-es dans plusieurs domaines de compétences:

Connaissances théoriques: L’érudition et l’expertise médicale sont évaluées dans le portfolio lors des stages. Il est évident que le groupe de suivi et de soutien dispose également des évaluations des tests et examens écrits qui leur permettent d’identifier les étudiant-es en échec.

Professionnalisme: Dès la seconde année d’études, la présence et le comportement d’apprentissage lors des tutorats en petits groupes sont évalués par les tuteurs dans le GPS. L’attitude professionnelle est également évaluée par les enseignant-es lors des séances des patients simulés ou dans les années master lors de l’apprentissage en milieu clinique.

Communication: La communication avec les patient-es et leurs familles, mais aussi avec les autres professionnels de la santé est une compétence centrale qui est évaluée par les superviseurs dans le GPS à l’aide d’échelles adaptées pour mesurer l’évolution de l’autonomie des étudiant-es en utilisant les « Entrustable Professional Activities » (EPAs)

Savoir-faire et gestes techniques: Ce domaine comprend la capacité de faire un examen physique et d’accomplir les gestes techniques définis dans le référentiel de compétences. En bachelor 2 et 3 cette compétence est évaluée à l’aide d’une échelle ad hoc lors de l’entraînement avec des patient-es simulé-es. En master, l’évaluation documente l’évolution de l’autonomie pour les gestes techniques.

Ces éléments du portfolio GPS permettent de définir des indicateurs pour identifier les différents types de difficulté décrits plus haut. Ces indicateurs ne sont donc pas prédictifs comme dans l’exemple « Ma réussite », ils suivent une approche diagnostique qui doit permettre une intervention ciblée du groupe de soutien. Cette intervention sera  différente lors de lacunes de connaissances, de problèmes de communication ou d’attitude professionnelle.

Le défi actuellement est de définir pour chaque indicateur la valeur seuil qui aura la meilleure spécificité et sensibilité, c’est à dire qui trouvera tous les étudiant-es ayant vraiment des difficultés (vrais positifs) en excluant les étudiant-es qui n’en ont pas (vrais négatifs).

Depuis le printemps 2021, les éléments du portfolio sont analysés chaque semestre pour les étudiant-es en bachelor 2 et 3 ainsi que pour les étudiant-es en première année master pour identifier les d’étudiant-es qui sont sous les valeurs seuil définies. Leur dossier est alors examiné par le groupe de suivi et de soutien qui confirme ou non la présence d’une difficulté et nous permet ainsi de calibrer les indicateurs. Les étudiant-es pour lesquelles une difficulté a été identifiée sont alors contacté-es par le groupe de suivi et de soutien, comme lorsqu’une difficulté est identifiée par un autre chemin (suggestion d’un-e tuteur, tutrice ou superviseur-e, demande des étudiant-es).

Cette première exploration des traces dans le portfolio électronique des étudiant-es en médecine est prometteuse, car elle permet d’identifier certain-es étudiant-es ayant besoin d’un suivi qui n’auraient peut-être pas été identifié-es par d’autres moyens.

Elle présente également des perspectives intéressantes pour le learning analytics, qui permettrait d’automatiser certaines analyses et de mettre à disposition des étudiant-es des infographies leur permettant de corriger leurs stratégies d’apprentissage ou d’identifier leur besoin de s’adresser au groupe de suivi et de soutien.

Bien entendu, les bases juridiques assurant que cette démarche est bien conforme aux lois qui s’appliquent à l’université ont été clarifiées et un formulaire d’information aux étudiant-es a été intégré au module d’introduction au GPS qui doit être suivi lors de la première utilisation.

L’analyse des traces numériques dans l’enseignement supérieur peut être une ressource intéressante pour tous les intervenant-es, étudiant-es, enseignant-es et responsables de formation. Elles permettent par exemple d’identifier et de mieux accompagner les étudiant-es en difficulté. Cependant il faut garder à l’esprit que la lecture de traces est une science qu’il s’agit d’appliquer à bon escient et de manière éthique.