• Intelligence Artificielle Générative à l'UNIGE
    Guide d'utilisation de l'intelligence artificielle générative à l'Université de Genève
  • Lunch and Learn
    Lunchs Pédagogiques : venez partager sur des thématiques vives dans l'enseignement !
  • Makeiteasy
    Une plateforme pour tester et améliorer vos compétences numériques à votre rythme
  • Ciel cherche: rédacteurs/trices

Tag : suivi et accompagnement des étudiants

Learning analytics ou comment lire les traces numériques pour aider les étudiant-e-s en difficulté?

Image générée par DALL-E
Prompt: « footprints on a surface with electronic structure » 31 mars 2023

Au cours de leur parcours de formation, étudiant-es et enseignant-es naviguent souvent sur des plateformes en ligne de toutes sortes, LMS comme Moodle, quiz, portfolios, wikis etc. Comme toute visite sur un site web, achats en ligne ou échanges sur les réseaux sociaux, ces cheminements virtuels laissent des traces numériques.

Learning analytics

En éducation supérieure comme ailleurs, ces traces, combinées à certaines informations enregistrées en cours de formation, peuvent être analysées à différentes fins. C’est ce qu’on appelle learning analytics, un domaine d’exploration proche des intelligences artificielles (IA). Si on demande à un de ces outils d’IA les plus connus actuellement (il s’agit bien sûr de ChatGPT):  « Fais une liste des approches en learning analytics utilisées au niveau universitaire dans le monde » (Requête du 5 avril 2023), il propose une liste assez complète:

« Voici une liste des approches en learning analytics utilisées au niveau universitaire dans le monde :

  1. Analyse des données d’utilisation des plateformes d’apprentissage en ligne (Learning Management Systems) pour identifier les modèles d’utilisation, les tendances et les lacunes dans les performances des étudiants.
  2. Analyse des données de fréquentation des cours pour identifier les étudiants qui manquent régulièrement les cours et leur fournir un soutien supplémentaire.
  3. Analyse des données d’inscription pour identifier les tendances en matière d’inscription et de désinscription des cours et pour comprendre les raisons sous-jacentes de ces tendances.
  4. Analyse des données de performance des étudiants pour identifier les facteurs qui influencent la réussite ou l’échec des étudiants dans un cours particulier, tels que la participation aux forums de discussion, les résultats des examens et les devoirs soumis.
  5. Analyse des données de rétroaction des étudiants pour comprendre les perceptions des étudiants sur l’efficacité de l’enseignement et pour améliorer la qualité de l’enseignement.
  6. Analyse des données d’interaction sociale entre les étudiants pour comprendre comment les étudiants interagissent entre eux et pour améliorer la collaboration et la communication.
  7. Analyse des données de réussite des étudiants pour identifier les facteurs qui contribuent à la réussite universitaire, tels que la participation à des activités parascolaires et la prise de décisions éducatives éclairées.
  8. Analyse des données de rétention des étudiants pour identifier les facteurs qui influencent la rétention des étudiants et pour fournir un soutien supplémentaire aux étudiants à risque.
  9. Analyse des données démographiques des étudiants pour comprendre les tendances en matière de diversité et pour identifier les groupes d’étudiants qui ont besoin d’un soutien supplémentaire.
  10. Analyse des données de progression des programmes pour comprendre comment les étudiants naviguent à travers les programmes d’études et pour améliorer la planification des programmes. »

Copié à partir de l’adresse https://chat.openai.com/chat

Je reprends cependant la plume pour donner quelques exemples de ce que le learning analytics permet de faire:

  • Accompagner la mise en place d’enseignement individualisé en adaptant le parcours d’apprentissage et les activités et ressources proposées selon les actions de l’étudiant-e.
  • Contribuer à l’amélioration continue d’une formation en analysant l’évolution du niveau de compétences des étudiant-es tout au long de leur parcours de formation.
  • Mettre en regard les compétences visées dans une formation et les compétences demandées sur le marché du travail.
  • Participer au contrôle qualité d’une formation en monitorant le taux de rétention, l’évolution des notes ou la comparaison des résultats obtenus par les étudiant-es de différentes volées.

En bref, là où il y a des traces numériques et des informations accessibles en ligne, le learning analytics permet de les synthétiser, de les analyser et de les utiliser à différentes fins. Les destinataires de ces analyses peuvent être aussi bien les étudiant-es que les enseignant-es, les responsables de formations, doyen-nes, recteurs ou rectrices.

Mise en pratique

Un exemple est le programme « Ma réussite » utilisé à l’Université de Laval. Cet outil agrège plusieurs traces numériques de la participation estudiantine avec les résultats aux tests pour générer un indicateur qui peut être vert si tout va bien, orange s’il faut être attentif ou rouge si le risque d’échec est élevé. Ces indicateurs sont visibles pour chaque étudiant-e lorsqu’il ou elle visualise sa liste de cours sur la plateforme d’apprentissage de l’université. Ils sont également visibles pour les enseignant-es et les directions de programme, leur permettant un suivi en temps réel du déroulement des cours. Les informations sur ces indicateurs sont toujours accompagnées des adresses des contacts (direction de programme, enseignant-es, assistant-es) et d’une liste de ressources à disposition.

Il va sans dire que l’exploitation de traces en éducation pose – ou devrait poser – des questions aussi bien stratégiques et politiques que pédagogiques et éthiques. Il s’agit non seulement de la confidentialité et de la protection des données, mais aussi de l’approche pédagogique qui sera encouragée ou non par ces outils. Ils peuvent servir aussi bien une normativité restrictive qu’une grande créativité, ouvrir un champ des possibles, mais aussi parfois un champ de mines. La série d’articles « Learning Analytics and AI: Politics, Pedagogy and Practices » donne un bon tour d’horizon et la checklist DELICATE  proposée par  Drachsler et Greller me semblent être des guides utiles pour se poser les bonnes questions concernant l’objectif, le respect de la vie privée et la protection des données lorsqu’on souhaite lire et analyser des traces numériques ou des informations en ligne.

Lire aussi:
Les Learning Analytics : un phénomène en expansion dans l’enseignement supérieur (Hausman 2019, présentation aux ABC Days Louvain-la Neuve)

Les traces des étudiant-es en difficulté

Un enjeu important en enseignement supérieur est d’identifier le plus tôt possible les étudiant-es en difficulté. Cette identification précoce ainsi qu’un « diagnostic » du type de difficulté permet de proposer à ces étudiant-es des solutions adaptées selon le domaine concerné: lacunes dans les connaissances théoriques, dans le raisonnement et la pensée critique, l’organisation, le savoir-faire ou le savoir-être. Selon le type de difficultés identifié, cet accompagnement des étudiant-es permet de trouver des solutions dans la majorité des cas. Il y a des exceptions comme l’identification d’une situation problématique au niveau socio-économique, psychologique ou psychiatrique pour lesquels les services externes correspondants seront proposés. Il faut souligner que les étudiant-es présentent souvent plusieurs types de difficultés en parallèle.

Pour plusieurs domaines dans lesquels les étudiant-es peuvent avoir des difficultés, il existe des traces, numériques ou non. Si on reprend les exemples de mon assistant conversationnel, on comprend par exemple que le suivi des activités sur Moodle et de la présence en ligne permettent d’identifier des types de difficultés comme une perte de motivation, des difficultés à s’organiser dans ses études, une compétence communicationnelle peu professionnelle, des lacunes dans les connaissances théoriques ou dans le savoir-faire. Un groupe de suivi et de soutien aux étudiant-es peut alors proposer des solutions adaptées à ces différentes situations.

Le choix des indicateurs pour identifier une personne qui a des difficultés dans ses études dépendra des types de difficulté que l’on souhaite identifier, et des moyens qui peuvent être mis en œuvre lorsque l’indicateur est au rouge. Dans l’exemple de l’outil « Ma réussite » cité plus haut, l’approche se base sur le fait reconnu que l’activité en ligne dans un cours a une valeur prédictive pour la réussite. Les indicateurs sont donc centrés sur le nombre d’accès au site du cours, le nombre de pages consultées, de documents téléchargés, l’activité sur les forums etc. Ces informations sont complétées par les résultats d’évaluation dès qu’ils sont disponibles. Il s’agit donc d’une approche prédictive qui permet à l’étudiant-e, si l’indicateur pour un cours est orange ou rouge, de prendre des mesures jugées adéquates pour améliorer ses chances de réussite.

Une exploration à la Faculté de médecine de Genève

Comme dans d’autres centres universitaires, le curriculum de médecine à Genève comprend de vastes connaissances théoriques à assimiler, mais aussi des compétences communicationnelles, des savoir-faire et une grande responsabilité professionnelle. Ces études sont exigeantes et les enjeux sont importants pour les étudiant-es, la Faculté, les hôpitaux universitaires et aussi la société qui a besoin de médecins qualifiés. Il va de soi que lors de leurs études, certains étudiant-es peuvent rencontrer des difficultés et avoir besoin du soutien du groupe de suivi et de soutien de la Faculté. En analysant les types de difficultés les plus fréquentes chez les étudiant-es en médecine ainsi que les outils numériques couramment utilisés tout au long des études, les traces récoltées dans le portfolio électronique (Geneva Portfolio support GPS) nous ont semblé intéressantes pour une analyse permettant d’identifier le plus tôt possible les étudiant-es en difficulté.

Ce portfolio est aligné avec le référentiel national des compétences pour les études de médecine en Suisse, PROFILES. Il est utilisé dès la deuxième année du bachelor et jusqu’à l’année de stage en dernière année d’études et comprend des formulaires où sont documentées et évaluées les activités des étudiant-es dans plusieurs domaines de compétences:

Connaissances théoriques: L’érudition et l’expertise médicale sont évaluées dans le portfolio lors des stages. Il est évident que le groupe de suivi et de soutien dispose également des évaluations des tests et examens écrits qui leur permettent d’identifier les étudiant-es en échec.

Professionnalisme: Dès la seconde année d’études, la présence et le comportement d’apprentissage lors des tutorats en petits groupes sont évalués par les tuteurs dans le GPS. L’attitude professionnelle est également évaluée par les enseignant-es lors des séances des patients simulés ou dans les années master lors de l’apprentissage en milieu clinique.

Communication: La communication avec les patient-es et leurs familles, mais aussi avec les autres professionnels de la santé est une compétence centrale qui est évaluée par les superviseurs dans le GPS à l’aide d’échelles adaptées pour mesurer l’évolution de l’autonomie des étudiant-es en utilisant les « Entrustable Professional Activities » (EPAs)

Savoir-faire et gestes techniques: Ce domaine comprend la capacité de faire un examen physique et d’accomplir les gestes techniques définis dans le référentiel de compétences. En bachelor 2 et 3 cette compétence est évaluée à l’aide d’une échelle ad hoc lors de l’entraînement avec des patient-es simulé-es. En master, l’évaluation documente l’évolution de l’autonomie pour les gestes techniques.

Ces éléments du portfolio GPS permettent de définir des indicateurs pour identifier les différents types de difficulté décrits plus haut. Ces indicateurs ne sont donc pas prédictifs comme dans l’exemple « Ma réussite », ils suivent une approche diagnostique qui doit permettre une intervention ciblée du groupe de soutien. Cette intervention sera  différente lors de lacunes de connaissances, de problèmes de communication ou d’attitude professionnelle.

Le défi actuellement est de définir pour chaque indicateur la valeur seuil qui aura la meilleure spécificité et sensibilité, c’est à dire qui trouvera tous les étudiant-es ayant vraiment des difficultés (vrais positifs) en excluant les étudiant-es qui n’en ont pas (vrais négatifs).

Depuis le printemps 2021, les éléments du portfolio sont analysés chaque semestre pour les étudiant-es en bachelor 2 et 3 ainsi que pour les étudiant-es en première année master pour identifier les d’étudiant-es qui sont sous les valeurs seuil définies. Leur dossier est alors examiné par le groupe de suivi et de soutien qui confirme ou non la présence d’une difficulté et nous permet ainsi de calibrer les indicateurs. Les étudiant-es pour lesquelles une difficulté a été identifiée sont alors contacté-es par le groupe de suivi et de soutien, comme lorsqu’une difficulté est identifiée par un autre chemin (suggestion d’un-e tuteur, tutrice ou superviseur-e, demande des étudiant-es).

Cette première exploration des traces dans le portfolio électronique des étudiant-es en médecine est prometteuse, car elle permet d’identifier certain-es étudiant-es ayant besoin d’un suivi qui n’auraient peut-être pas été identifié-es par d’autres moyens.

Elle présente également des perspectives intéressantes pour le learning analytics, qui permettrait d’automatiser certaines analyses et de mettre à disposition des étudiant-es des infographies leur permettant de corriger leurs stratégies d’apprentissage ou d’identifier leur besoin de s’adresser au groupe de suivi et de soutien.

Bien entendu, les bases juridiques assurant que cette démarche est bien conforme aux lois qui s’appliquent à l’université ont été clarifiées et un formulaire d’information aux étudiant-es a été intégré au module d’introduction au GPS qui doit être suivi lors de la première utilisation.

Conclusion

L’analyse des traces numériques dans l’enseignement supérieur peut être une ressource intéressante pour tous les intervenant-es, étudiant-es, enseignant-es et responsables de formation. Elles permettent par exemple d’identifier et de mieux accompagner les étudiant-es en difficulté. Cependant il faut garder à l’esprit que la lecture de traces est une science qu’il s’agit d’appliquer à bon escient et de manière éthique.


Comment donner du feedback dans Moodle@UNIGE

La plateforme Moodle@UNIGE permet de mettre du contenu à disposition de ses étudiant·e·s ou groupes d’étudiant·e·s et de gérer la communication. Mais elle permet aussi de leur apporter du feedback individuel notamment via l’activité « Devoir », dont ce billet présente les différents types de feedback. Notez que vous pouvez cliquer sur les captures d’écran pour les agrandir.

Rédiger un commentaire

La première option de feedback est le « feedback par commentaire ». Lorsque vous cliquez sur le bouton « note », une interface s’ouvre et présente dans la partie de gauche le travail remis par l’étudiant·e, et, dans le volet de droite, les champs de feedback qui ont été sélectionnés dans les paramètres du devoir. Le champ « feedback par commentaire » est présent par défaut:

Annoter les travaux

Les documents déposés au format PDF ou sous un format Microsoft (Word, PowerPoint, etc.) peuvent être annotés directement dans l’interface de Moodle. La barre de menu permet de surligner, encadrer, annoter à la main, mais aussi ajouter un commentaire ou un sticker. Un fichier PDF sera créé et mis à disposition de l’étudiant·e dans le feedback du devoir.

 

Remettre un fichier de feedback

Dans certains cas, le feedback est un fichier. Par exemple, les copies ont été évaluées en dehors de Moodle (une traduction rendue au format Word, corrigée sur Word en mode suivi des notifications et remise à l’étudiant·e) et doivent être remise de façon individuelle. Ou alors le commentaire est un fichier audio enregistré par exemple avec Audacity. Notez le champ « remise de fichiers » qui apparaît dans le volet de droite si l’option « fichiers de feedback » est cochée dans les paramètres du devoir.

Evaluer à l'aide d'une grille d'évaluation

Il est possible d’intégrer votre grille d’évaluation à votre espace de cours afin d’évaluer les travaux remis. Vous pouvez la communiquer aux étudiant·e·s, avant et/ou après la remise du devoir, ce qui leur permet d’avoir un retour précis sur la façon dont ils/elles ont été évalué·e·s. Pour en savoir plus, consultez la documentation d’aide.

Pour vous aider à mettre en place le devoir et choisir les options de feedback, consultez la documentation d’aide.

 



Un changement de rythme académique : la semaine d’études libres à Unige

Qu’elle s’appelle semaine d’études libres, semaine de lecture ou semaine de révision, elle offre, aux étudiant·e·s et aux enseignant·e·s, une coupure dans le rythme habituel du calendrier académique. Ainsi, du 3 au 8 novembre 2013, cours et enseignements sont suspendus dans les Facultés de droit, des lettres, des sciences économiques et sociales et de traduction et d’interprétation. La Faculté de médecine, quant à elle, organise 1 à 2 semaines de révision à la fin de chaque semestre avant les sessions d’examens.