• Les ressources éducatives libres: conférence, 11 mai 2023
    Les ressources éducatives libres: conférence, 11 mai 2023
  • Lunch and Learn
    Lunchs Pédagogiques : venez partager sur des thématiques vives dans l'enseignement !
  • Ateliers pour votre doctorat
    N'hésitez pas à vous inscrire et découvrez notre offre complète d'ateliers pour votre doctorat !
  • Ciel cherche: rédacteurs/trices

Learning analytics ou comment lire les traces numériques pour aider les étudiant-e-s en difficulté?

Learning analytics ou comment lire les traces numériques pour aider les étudiant-e-s en difficulté?

Image générée par DALL-E
Prompt: « footprints on a surface with electronic structure » 31 mars 2023

Au cours de leur parcours de formation, étudiant-es et enseignant-es naviguent souvent sur des plateformes en ligne de toutes sortes, LMS comme Moodle, quiz, portfolios, wikis etc. Comme toute visite sur un site web, achats en ligne ou échanges sur les réseaux sociaux, ces cheminements virtuels laissent des traces numériques.

Learning analytics

En éducation supérieure comme ailleurs, ces traces, combinées à certaines informations enregistrées en cours de formation, peuvent être analysées à différentes fins. C’est ce qu’on appelle learning analytics, un domaine d’exploration proche des intelligences artificielles (IA). Si on demande à un de ces outils d’IA les plus connus actuellement (il s’agit bien sûr de ChatGPT):  « Fais une liste des approches en learning analytics utilisées au niveau universitaire dans le monde » (Requête du 5 avril 2023), il propose une liste assez complète:

« Voici une liste des approches en learning analytics utilisées au niveau universitaire dans le monde :

  1. Analyse des données d’utilisation des plateformes d’apprentissage en ligne (Learning Management Systems) pour identifier les modèles d’utilisation, les tendances et les lacunes dans les performances des étudiants.
  2. Analyse des données de fréquentation des cours pour identifier les étudiants qui manquent régulièrement les cours et leur fournir un soutien supplémentaire.
  3. Analyse des données d’inscription pour identifier les tendances en matière d’inscription et de désinscription des cours et pour comprendre les raisons sous-jacentes de ces tendances.
  4. Analyse des données de performance des étudiants pour identifier les facteurs qui influencent la réussite ou l’échec des étudiants dans un cours particulier, tels que la participation aux forums de discussion, les résultats des examens et les devoirs soumis.
  5. Analyse des données de rétroaction des étudiants pour comprendre les perceptions des étudiants sur l’efficacité de l’enseignement et pour améliorer la qualité de l’enseignement.
  6. Analyse des données d’interaction sociale entre les étudiants pour comprendre comment les étudiants interagissent entre eux et pour améliorer la collaboration et la communication.
  7. Analyse des données de réussite des étudiants pour identifier les facteurs qui contribuent à la réussite universitaire, tels que la participation à des activités parascolaires et la prise de décisions éducatives éclairées.
  8. Analyse des données de rétention des étudiants pour identifier les facteurs qui influencent la rétention des étudiants et pour fournir un soutien supplémentaire aux étudiants à risque.
  9. Analyse des données démographiques des étudiants pour comprendre les tendances en matière de diversité et pour identifier les groupes d’étudiants qui ont besoin d’un soutien supplémentaire.
  10. Analyse des données de progression des programmes pour comprendre comment les étudiants naviguent à travers les programmes d’études et pour améliorer la planification des programmes. »

Copié à partir de l’adresse https://chat.openai.com/chat

Je reprends cependant la plume pour donner quelques exemples de ce que le learning analytics permet de faire:

  • Accompagner la mise en place d’enseignement individualisé en adaptant le parcours d’apprentissage et les activités et ressources proposées selon les actions de l’étudiant-e.
  • Contribuer à l’amélioration continue d’une formation en analysant l’évolution du niveau de compétences des étudiant-es tout au long de leur parcours de formation.
  • Mettre en regard les compétences visées dans une formation et les compétences demandées sur le marché du travail.
  • Participer au contrôle qualité d’une formation en monitorant le taux de rétention, l’évolution des notes ou la comparaison des résultats obtenus par les étudiant-es de différentes volées.

En bref, là où il y a des traces numériques et des informations accessibles en ligne, le learning analytics permet de les synthétiser, de les analyser et de les utiliser à différentes fins. Les destinataires de ces analyses peuvent être aussi bien les étudiant-es que les enseignant-es, les responsables de formations, doyen-nes, recteurs ou rectrices.

Mise en pratique

Un exemple est le programme « Ma réussite » utilisé à l’Université de Laval. Cet outil agrège plusieurs traces numériques de la participation estudiantine avec les résultats aux tests pour générer un indicateur qui peut être vert si tout va bien, orange s’il faut être attentif ou rouge si le risque d’échec est élevé. Ces indicateurs sont visibles pour chaque étudiant-e lorsqu’il ou elle visualise sa liste de cours sur la plateforme d’apprentissage de l’université. Ils sont également visibles pour les enseignant-es et les directions de programme, leur permettant un suivi en temps réel du déroulement des cours. Les informations sur ces indicateurs sont toujours accompagnées des adresses des contacts (direction de programme, enseignant-es, assistant-es) et d’une liste de ressources à disposition.

Il va sans dire que l’exploitation de traces en éducation pose – ou devrait poser – des questions aussi bien stratégiques et politiques que pédagogiques et éthiques. Il s’agit non seulement de la confidentialité et de la protection des données, mais aussi de l’approche pédagogique qui sera encouragée ou non par ces outils. Ils peuvent servir aussi bien une normativité restrictive qu’une grande créativité, ouvrir un champ des possibles, mais aussi parfois un champ de mines. La série d’articles « Learning Analytics and AI: Politics, Pedagogy and Practices » donne un bon tour d’horizon et la checklist DELICATE  proposée par  Drachsler et Greller me semblent être des guides utiles pour se poser les bonnes questions concernant l’objectif, le respect de la vie privée et la protection des données lorsqu’on souhaite lire et analyser des traces numériques ou des informations en ligne.

Lire aussi:
Les Learning Analytics : un phénomène en expansion dans l’enseignement supérieur (Hausman 2019, présentation aux ABC Days Louvain-la Neuve)

Les traces des étudiant-es en difficulté

Un enjeu important en enseignement supérieur est d’identifier le plus tôt possible les étudiant-es en difficulté. Cette identification précoce ainsi qu’un « diagnostic » du type de difficulté permet de proposer à ces étudiant-es des solutions adaptées selon le domaine concerné: lacunes dans les connaissances théoriques, dans le raisonnement et la pensée critique, l’organisation, le savoir-faire ou le savoir-être. Selon le type de difficultés identifié, cet accompagnement des étudiant-es permet de trouver des solutions dans la majorité des cas. Il y a des exceptions comme l’identification d’une situation problématique au niveau socio-économique, psychologique ou psychiatrique pour lesquels les services externes correspondants seront proposés. Il faut souligner que les étudiant-es présentent souvent plusieurs types de difficultés en parallèle.

Pour plusieurs domaines dans lesquels les étudiant-es peuvent avoir des difficultés, il existe des traces, numériques ou non. Si on reprend les exemples de mon assistant conversationnel, on comprend par exemple que le suivi des activités sur Moodle et de la présence en ligne permettent d’identifier des types de difficultés comme une perte de motivation, des difficultés à s’organiser dans ses études, une compétence communicationnelle peu professionnelle, des lacunes dans les connaissances théoriques ou dans le savoir-faire. Un groupe de suivi et de soutien aux étudiant-es peut alors proposer des solutions adaptées à ces différentes situations.

Le choix des indicateurs pour identifier une personne qui a des difficultés dans ses études dépendra des types de difficulté que l’on souhaite identifier, et des moyens qui peuvent être mis en œuvre lorsque l’indicateur est au rouge. Dans l’exemple de l’outil « Ma réussite » cité plus haut, l’approche se base sur le fait reconnu que l’activité en ligne dans un cours a une valeur prédictive pour la réussite. Les indicateurs sont donc centrés sur le nombre d’accès au site du cours, le nombre de pages consultées, de documents téléchargés, l’activité sur les forums etc. Ces informations sont complétées par les résultats d’évaluation dès qu’ils sont disponibles. Il s’agit donc d’une approche prédictive qui permet à l’étudiant-e, si l’indicateur pour un cours est orange ou rouge, de prendre des mesures jugées adéquates pour améliorer ses chances de réussite.

Une exploration à la Faculté de médecine de Genève

Comme dans d’autres centres universitaires, le curriculum de médecine à Genève comprend de vastes connaissances théoriques à assimiler, mais aussi des compétences communicationnelles, des savoir-faire et une grande responsabilité professionnelle. Ces études sont exigeantes et les enjeux sont importants pour les étudiant-es, la Faculté, les hôpitaux universitaires et aussi la société qui a besoin de médecins qualifiés. Il va de soi que lors de leurs études, certains étudiant-es peuvent rencontrer des difficultés et avoir besoin du soutien du groupe de suivi et de soutien de la Faculté. En analysant les types de difficultés les plus fréquentes chez les étudiant-es en médecine ainsi que les outils numériques couramment utilisés tout au long des études, les traces récoltées dans le portfolio électronique (Geneva Portfolio support GPS) nous ont semblé intéressantes pour une analyse permettant d’identifier le plus tôt possible les étudiant-es en difficulté.

Ce portfolio est aligné avec le référentiel national des compétences pour les études de médecine en Suisse, PROFILES. Il est utilisé dès la deuxième année du bachelor et jusqu’à l’année de stage en dernière année d’études et comprend des formulaires où sont documentées et évaluées les activités des étudiant-es dans plusieurs domaines de compétences:

Connaissances théoriques: L’érudition et l’expertise médicale sont évaluées dans le portfolio lors des stages. Il est évident que le groupe de suivi et de soutien dispose également des évaluations des tests et examens écrits qui leur permettent d’identifier les étudiant-es en échec.

Professionnalisme: Dès la seconde année d’études, la présence et le comportement d’apprentissage lors des tutorats en petits groupes sont évalués par les tuteurs dans le GPS. L’attitude professionnelle est également évaluée par les enseignant-es lors des séances des patients simulés ou dans les années master lors de l’apprentissage en milieu clinique.

Communication: La communication avec les patient-es et leurs familles, mais aussi avec les autres professionnels de la santé est une compétence centrale qui est évaluée par les superviseurs dans le GPS à l’aide d’échelles adaptées pour mesurer l’évolution de l’autonomie des étudiant-es en utilisant les « Entrustable Professional Activities » (EPAs)

Savoir-faire et gestes techniques: Ce domaine comprend la capacité de faire un examen physique et d’accomplir les gestes techniques définis dans le référentiel de compétences. En bachelor 2 et 3 cette compétence est évaluée à l’aide d’une échelle ad hoc lors de l’entraînement avec des patient-es simulé-es. En master, l’évaluation documente l’évolution de l’autonomie pour les gestes techniques.

Ces éléments du portfolio GPS permettent de définir des indicateurs pour identifier les différents types de difficulté décrits plus haut. Ces indicateurs ne sont donc pas prédictifs comme dans l’exemple « Ma réussite », ils suivent une approche diagnostique qui doit permettre une intervention ciblée du groupe de soutien. Cette intervention sera  différente lors de lacunes de connaissances, de problèmes de communication ou d’attitude professionnelle.

Le défi actuellement est de définir pour chaque indicateur la valeur seuil qui aura la meilleure spécificité et sensibilité, c’est à dire qui trouvera tous les étudiant-es ayant vraiment des difficultés (vrais positifs) en excluant les étudiant-es qui n’en ont pas (vrais négatifs).

Depuis le printemps 2021, les éléments du portfolio sont analysés chaque semestre pour les étudiant-es en bachelor 2 et 3 ainsi que pour les étudiant-es en première année master pour identifier les d’étudiant-es qui sont sous les valeurs seuil définies. Leur dossier est alors examiné par le groupe de suivi et de soutien qui confirme ou non la présence d’une difficulté et nous permet ainsi de calibrer les indicateurs. Les étudiant-es pour lesquelles une difficulté a été identifiée sont alors contacté-es par le groupe de suivi et de soutien, comme lorsqu’une difficulté est identifiée par un autre chemin (suggestion d’un-e tuteur, tutrice ou superviseur-e, demande des étudiant-es).

Cette première exploration des traces dans le portfolio électronique des étudiant-es en médecine est prometteuse, car elle permet d’identifier certain-es étudiant-es ayant besoin d’un suivi qui n’auraient peut-être pas été identifié-es par d’autres moyens.

Elle présente également des perspectives intéressantes pour le learning analytics, qui permettrait d’automatiser certaines analyses et de mettre à disposition des étudiant-es des infographies leur permettant de corriger leurs stratégies d’apprentissage ou d’identifier leur besoin de s’adresser au groupe de suivi et de soutien.

Bien entendu, les bases juridiques assurant que cette démarche est bien conforme aux lois qui s’appliquent à l’université ont été clarifiées et un formulaire d’information aux étudiant-es a été intégré au module d’introduction au GPS qui doit être suivi lors de la première utilisation.

Conclusion

L’analyse des traces numériques dans l’enseignement supérieur peut être une ressource intéressante pour tous les intervenant-es, étudiant-es, enseignant-es et responsables de formation. Elles permettent par exemple d’identifier et de mieux accompagner les étudiant-es en difficulté. Cependant il faut garder à l’esprit que la lecture de traces est une science qu’il s’agit d’appliquer à bon escient et de manière éthique.


Résilience et pédagogie: une exploration au creux de la vague

Les vacances d’été approchent et donnent envie d’oublier les vagues épidémiologiques et autres infographies pour nous plonger dans de vraies vagues bien fraîches ! Cependant, en agitant nos orteils dans le sable et en observant les bateaux qui passent, peut-être que cet horizon à nouveau plus ouvert nous permet de nous demander comment nos enseignements pourraient mieux naviguer sur une mer parfois agitée?

Post Covid

Les publications se multiplient pour documenter ce qui s’est passé dans l’enseignement supérieur pendant la pandémie du COVID-19 . La plupart des hautes écoles ont fait des sondages auprès de leurs étudiant-e-s et parfois aussi auprès des enseignant-e et se mettent en devoir de tirer des leçons de la crise. La mise à distance de tous les enseignements a eu des conséquences très variables, mais avec une constante : elle s’est faite dans l’urgence, sans laisser le temps de vérifier la qualité de l’enseignement et encore moins d’intégrer des principes d’ingénierie techno-pédagogique. Cet enseignement à distance en urgence a un nom : « Emergency Remote Teaching » (ERT) et s’il a souvent représenté une prouesse, assurant une certaine continuité de l’enseignement, le danger est de le confondre avec une pédagogie en ligne fondée et de considérer la transposition en ligne d’un cours comme du eLearning (Hodges, Moore et al. 2020) alors qu’il s’agit d’une simple bouée de sauvetage. Certains n’ont pas attendu d’être au creux de la vague pour se demander comment éviter de se retrouver à s’accrocher à une solution aussi précaire et ont réfléchi à ce que pourrait être une pédagogie résiliente.



A quoi sert une cartographie de curriculum?

Curriculum

Tout d’abord, le contexte: nous sommes en présence d‘un curriculum de l’Université de Genève de 360 crédits ECTS et dont le cursus est également  professionnalisant. Il compte un grand nombre d’étudiant-e-s, de tuteurs, d’enseignant-e-s et de responsables d’enseignement. Ses activités d’apprentissage adoptent une large palette de formats allant de l’enseignement ex-cathedra à l’apprentissage par problèmes, en passant par des séminaires, tutorats ou stages pratiques. La taxonomie de ses objectifs pédagogiques va de connaissances théoriques et scientifiques à la maîtrise de gestes techniques jusqu’à des compétences intégratives et communicationnelles avancées. Les évaluations comprennent des examens de connaissances et de compétences spécifiques, mais aussi des simulations, la documentation d’expériences pratiques ou l’autoévaluation du niveau d’autonomie. Ce curriculum est validé par un examen régi par une loi fédérale.

Vous aurez peut-être deviné qu’il s’agit du curriculum de médecine. En pleine réforme actuellement, il s’oriente sur un nouveau référentiel de compétences national, régi par la loi fédérale sur les professions médicales universitaires (LPMéd). Nommé PROFILES, il est résolument intégratif, et définit aussi bien le profil professionnel visé que les actions à maîtriser et les contextes de ces actions. Cette réforme implique qu’il est nécessaire de ““vérifier comment le contenu du curriculum répond aux exigences de PROFILES et soutient les compétences requises”.
La question est donc de savoir où est enseigné quoi, et si les activités d’apprentissage, leurs objectifs, les compétences visées et leur validation sont bien alignés. Il est donc nécessaire de s’orienter dans le curriculum et d’avoir la possibilité de mettre en lien chacun de ses éléments avec le référentiel PROFILES.