• Semaine Zéro Plagiat
    Semaine Zéro Plagiat: du 4 au 8 novembre 2024
  • Intelligence Artificielle Générative à l'UNIGE
    Guide d'utilisation de l'intelligence artificielle générative à l'Université de Genève
  • Lunch and Learn
    Lunchs Pédagogiques : venez partager sur des thématiques vives dans l'enseignement !
  • Makeiteasy
    Une plateforme pour tester et améliorer vos compétences numériques à votre rythme
  • Ciel cherche: rédacteurs/trices

Catégorie : Analyses & réflexions

Billet proposant un retour d’expérience, une analyse, une réflexion…

Nov0620246 novembre 20246 novembre 20240Commentairepar Birchler Emery

L’ «importation intelligente / Smart Import» peut-elle créer un contenu d’apprentissage intelligent ?

Publié dans Analyses & réflexions, Articles, Outils & services, Usages pédagogiques

Article proposé par la Dre Jue Wang Szilas et la Dre Patrizia Birchler Emery, CFCD

Ce billet explore le potentiel pédagogique des moteurs d’intelligence artificielle Smart Import et Nolej.

H5P Smart Import et Nolej sont des solutions innovantes en matière de conception pédagogique assistée par l’IA, en particulier pour la création de contenus d’apprentissage interactifs basés sur du texte. Ces deux outils s’appuient sur l’IA pour analyser et transformer des documents existants – tels que des textes, des images et des vidéos – en formats interactifs et attrayants.

Nous avons testé chacun de ces outils, afin de mieux comprendre leurs capacités et limites : le premier test avec H5P Smart Import utilise une vidéo YouTube de trente minutes d’une présentation destinée à un large public, et le deuxième test avec Nolej a été effectué avec une vidéo de trois minutes sur une technique particulière d’imagerie numérique. Les résultats sont similaires.

Présentation des outils: H5P Smart Import et Nolej

En matière de personnalisation, H5P Smart Import et Nolej offrent des ajustements de base, avec Nolej proposant des options avancées. Les deux outils s’intègrent facilement aux principales plateformes LMS (Moodle, Canvas, Blackboard), rendant leur utilisation dans divers environnements pédagogiques simple. H5P Smart Import est particulièrement efficace pour les contenus structurés, tandis que Nolej excelle avec des supports plus variés et favorise la collaboration entre enseignant-es. 

Pour l’accès, H5P Smart Import propose une période d’essai de 30 jours, alors que Nolej permet un essai de 10 jours pour créer jusqu’à trois modules d’apprentissage. Avec H5P Smart Import les contenus générés sont réutilisables, mais nécessitent un abonnement pour un accès permanent après l’essai, alors que sur Nolej ils restent visibles même sans abonnement. En termes de langues, H5P Smart Import est limité à l’anglais, tandis que Nolej est disponible en plusieurs langues, avec des variations d’efficacité selon la complexité. 

Ces outils conviennent à un large éventail d’enseignant-es, du primaire au supérieur, et sont adaptés à différents types d’enseignement, y compris la formation professionnelle. Il est recommandé de posséder des compétences numériques de base pour les intégrer efficacement dans la pratique éducative. 

En conclusion, H5P Smart Import et Nolej offrent des solutions complémentaires pour créer des activités interactives, répondant aux besoins variés des enseignant-es  selon la nature et la complexité des contenus pédagogiques. 

Pour tester ces outils, nous avons réalisé un essai avec H5P Smart Import et un autre avec Nolej. Les résultats se sont avérés très similaires pour les deux outils. Cependant, comme H5P Smart Import nécessite un abonnement pour partager les résultats, nous n’avons pas pu les diffuser et avons donc réutilisé les résultats obtenus via Nolej. Pour ces tests, nous avons utilisé deux ressources différentes : une conférence de 30 minutes et une vidéo YouTube de 3 minutes. Nous allons présenter ici le déroulement des tests, les résultats obtenus, ainsi qu’une analyse et des commentaires sur chaque étape. 

Test avec H5P Smart Import

1. Contexte et ressources utilisées

Suite à une démonstration convaincante de l’équipe de H5P, les auteur-es ont obtenu un accès temporaire pour tester les fonctionnalités de Smart Import avec des collègues. Pour cette évaluation, un extrait de vidéo d’une conférence de 30 minutes en anglais a été sélectionné : il s’agit d’une présentation sur un MOOC visant à préserver une écriture en voie de disparition intitulée Teaching an Endangered Script through MOOC. Cette ressource a été choisie afin d’évaluer la capacité de H5P Smart Import à générer des activités pédagogiques interactives à partir d’un contenu à la fois long et complexe. Dans cette vidéo, l’auteure aborde plusieurs points clés : 

  • Écriture Dongba : un patrimoine culturel unique.
  • Objectif du MOOC : sensibilisation et préservation de la culture Naxi.
  • Scénarisation du cours : une approche pédagogique interactive.
  • Enseignement multilingue : promotion du plurilinguisme et de la diversité culturelle.
  • Défis de conception : standardisation et accessibilité de l’écriture.
  • MOOCs comme plateformes de recherche : vers une science citoyenne.

2. Déroulement et résultat

Les auteur-es ont utilisé Smart Import pour convertir la vidéo en transcription textuelle. Une relecture humaine a permis de corriger les éventuelles erreurs, garantissant ainsi la qualité du texte de base. À partir de ce contenu corrigé, Smart Import a généré huit types d’activités d’apprentissage, incluant une vidéo interactive avec mots-clés et questions, un quiz, un glossaire, une carte de concepts, une activité glisser-déposer, des flashcards, ainsi qu’un résumé. Ces activités ont ensuite été partagées avec des collègues, invité-es à les compléter et à donner leur avis.

Cliquez ici pour voir vers le contenu créé (lien vers le site Nolej pour les raisons mentionnées plus haut).

3. Analyse des résultats d’utilisation

Points positifs:  

  • Qualité de la transcription : la transcription automatique de la vidéo est généralement précise, mais nécessite une relecture humaine pour assurer sa fiabilité.
  • Pertinence des mots-clés : les mots-clés proposés sont pertinents et enrichis d’explications claires, comme Cultural heritage, Didactic principles, Dongba script, Endangered languages, Hieroglyph instructional design, MOOC, Multilingual interface, Naxi ethnic group, Scripts, et World Endangered Writing Day.
  • Qualité des exercices de compréhension : les exercices tels que les quiz, flashcards et activités de glisser-déposer sont efficaces pour renforcer les connaissances factuelles basées sur le texte, facilitant ainsi la révision des concepts clés. 

Points à améliorer: 

  • Répétition : les activités générées présentent parfois des redondances, certaines questions se répétant dans les quiz. Cette redondance est également fréquente dans les mots-clés, le glossaire et les flashcards.
  • Incohérence dans les réponses proposées : des divergences existent entre les réponses attendues dans différents types d’exercices. Par exemple, pour la question « What is the goal of the MOOC? », la réponse dans le quiz est “To preserve and revitalize the ancient Dongba script and Naxi Dongba culture”, tandis que la carte de concept indique que “The MOOC aims to explore the role of multilingualism in preserving and transmitting endangered languages and scripts and its potential impact could revolutionize attitudes and practices towards language conservation.”
  • Feedback erroné : certains retours automatiques sont inexacts, proposant des réponses ou explications incorrectes. Sur la même question « What is the goal of the MOOC? », des informations fournies sont inexactes.
  • Questions ouvertes manquantes : l’absence de questions ouvertes dans les exercices limite l’apprentissage à un niveau très basique, ne permettant pas de développer des compétences de réflexion critique.

4. Conclusion

Les résultats indiquent que H5P Smart Import est efficace pour générer des activités d’apprentissage basées sur le texte, en particulier pour l’acquisition de connaissances déclaratives. L’outil renforce la maîtrise des concepts clés en intégrant ces éléments de manière répétée dans les activités proposées. Cependant, certaines limites demeurent. H5P Smart Import n’est pas encore en mesure de générer des questions ouvertes stimulant une réflexion critique, ni de concevoir des distracteurs complexes dans les questions à choix multiples, ou de faciliter l’apprentissage collaboratif. De plus, l’outil ne prend actuellement en charge que des contenus en langue anglaise, ce qui souligne la nécessité d’ajouter d’autres langues pour accroître l’accessibilité et l’utilité de l’outil. 

Test avec Nolej

1. Contexte et ressources utilisées 

La vidéo servant de base au test avec Nolej a été présentée dans le cadre d’un cours sur les techniques d’imagerie numérique (niveau universitaire) destiné aux étudiant-es en humanités numériques, actifs/ves dans toutes les branches où des objets sont impliqués (archéologie, histoire de l’art, manuscrits, etc.).  Différents types d’imagerie sont passés en revue et testés, afin de connaître leurs spécificités et leurs utilisations pratiques, dans le but de pouvoir ensuite appliquer la technique la plus appropriée dans le contexte de la recherche.   

La vidéo utilisée présente l’une de ces techniques, la RTI (Reflectance Transformation Imaging), et son application à l’archéologie. Il s’agit d’une vidéo faisant la publicité d’un outil commercial et les étudiant-es sont invité-es à garder un œil critique en la visionnant.   

Il ne s’agit donc pas d’une vidéo de cours, mais d’une vidéo de démonstration (ce qui n’a aucune incidence sur les résultats du test). La vidéo est visionnée après une introduction théorique sur la RTI et son fonctionnement, pour les raisons suivantes :  

  • Elle présente visuellement un outil spécifique pour la RTI : composants, manipulation de l’équipement, mise en place, etc.  
  • Elle montre l’outil en cours d’utilisation.  
  • Elle présente les résultats obtenus.  
  • Elle présente l’utilité et l’intérêt de photographier des objets avec cet outil et cette technique (sans toutefois en mentionner les limites). 

  2. Déroulement et résultat 

La première étape a consisté en l’utilisation de Nolej pour convertir la vidéo en transcription textuelle. Comme pour Smart Import, une relecture humaine a été nécessaire enlever les quelques erreurs de transcription. C’est à partir de ce contenu corrigé, que Nolej a généré des activités d’apprentissage, vidéo interactive, cartes conceptuelles, quiz, drag the word, flashcard, ainsi qu’un glossaire, des points clés et un résumé. Nolej a proposé également des contenus supplémentaires : mots croisés, mots secrets, idées d’apprentissage par projet.  

Cliquez ici pour voir le contenu créé.

 3. Analyse des résultats d’utilisation 

 Points positifs: 

  • Qualité de la transcription : la transcription automatique de la vidéo est généralement précise, mais nécessite une relecture humaine pour assurer sa fiabilité.
  • Qualité de certains exercices de compréhension : les quiz et les flashcards, basés sur des phrases entières de la transcription et non sur des mots clés étaient satisfaisants, même si limités en raison de la brièveté de la vidéo.
  • Idées d’apprentissage par projet : trois des quatre suggestions étaient intéressantes. 

Limites et points d’amélioration : 

  • Mots-clés et redondance : les mots clés retenus par l’AI sont trop basiques et généraux, alors que d’autres termes cités dans la vidéo auraient été plus importants et plus appropriés. Il en découle que toutes les activités créées à partir des mots clés (redondance) étaient peu pertinentes (vidéo interactive, glossaire, cartes conceptuelles, drag the word, mots croisés, mots secrets). .
  • Questions ouvertes manquantes : aucune proposition de questions ouvertes, nécessitant analyse et réflexion (par exemple: quelles sont les caractéristiques communes des objets soumis à la RTI, la technique s’applique-t-elle ou est-elle utile à tout objet archéologique, etc.)
  • Limites liées à la reconnaissance du texte uniquement : l‘IA étant basée sur du texte, il manque au cours interactif proposé un ensemble de questions à explorer sur ce qui est montré dans la vidéo et qui peut être tout aussi important que le discours en termes d’objectifs de visionnage (par exemple : la taille et les composants de l’équipement, l’environnement dans lequel la RTI est réalisée, la taille et les caractéristiques des objets traités, etc.) 

 4. Conclusion  

Nolej est un outil efficace, mais il est préférable de générer le texte de base soi-même, en y intégrant les mots-clés et les concepts dont les étudiant-es doivent se saisir. Le modèle d’apprentissage de cette IA est encore basique, ne correspondant qu’au premier niveau de la taxonomie de Bloom. 

Un défaut majeur est que l’IA n’analyse pas les images et ne génère donc pas de mots-clés ou de quiz sur ce qui est montré dans une vidéo, alors que de nombreux domaines d’études comportent des apprentissages liés à un ensemble de gestes à pratiquer ou des items à observer.  

Enfin, les questions de réflexion et d’analyse ainsi que les questions ouvertes sont totalement absentes. 

 

Conclusion

Les résultats ont révélé que ces deux outils généraient efficacement de nombreuses activités d’enseignement basées sur le texte, améliorant principalement l’apprentissage des connaissances déclaratives. Ils ont notamment amélioré la maîtrise et la compréhension des concepts clés en augmentant leur fréquence dans les activités. Cependant, des limites ont été identifiées, par exemple l’incapacité de générer des questions ouvertes nécessitant une réflexion critique, ou d’incorporer des distracteurs approfondis dans les questions à choix multiples, ou de faciliter l’apprentissage collaboratif. De plus, ces outils ne permettent pas de développer des activités sur des objets visuels, ce qui en limite la portée dans de nombreux domaines. En outre, la version actuelle Smart Import ne prend en charge que les ressources en langue anglaise, d’autres langues devant encore être développées.  

Grâce à cet essai, les avantages d’un moteur d’IA ont pu être reconnus, de même que son potentiel pour augmenter de manière significative la productivité dans la création de contenu d’apprentissage interactif basé sur le texte et pour améliorer l’accessibilité. Simultanément, le test a permis d’acquérir une meilleure compréhension des risques, en particulier des préoccupations concernant l’étouffement de la créativité et la nécessité d’une intervention humaine pour maintenir l’intégrité pédagogique. 

Questions pour le futur...?

Il est clair cependant que l’utilisation de ces outils d’IA dans la conception pédagogique interpelle et ce, à plusieurs niveaux. Par exemple, dans quelle mesure les contenus d’apprentissage interactifs créés par des outils d’IA seront-ils crédibles dans un environnement universitaire ? Ou encore, comment trouver un équilibre entre l’automatisation et la créativité dans la conception des contenus d’apprentissage ? Lors de l’intégration d’outils d’IA tels que Smart Import dans la conception pédagogique, où les rôles humains ne peuvent-ils pas être remplacés par l’IA ?  

Le test effectué et ses résultats invitent à la réflexion sur l’évolution du rôle de l’IA dans l’élaboration future de la création de contenus d’apprentissage intelligents. 


Oct0120241 octobre 202411 novembre 20240Commentairepar Rioja

Mener des projets concrets liés au digital à l’UNIGE – Retour d’expérience d’un étudiant au cours “Comprendre le numérique 2”

Publié dans Analyses & réflexions, Articles

➡️ Lien vers la page du cours

 

Ce billet de blog a été co-écrit par Daniel Dos Santos Casas et Kenneth Rioja.
Le féminin est utilisé tout au long de ce billet pour représenter toutes les personnes, sans distinction de genre, afin de souligner l’importance de l’inclusivité et de l’égalité dans le domaine de l’informatique. Ce choix stylistique vise à inverser la norme traditionnelle et à mettre en lumière la nécessité de repenser les biais linguistiques qui contribuent aux inégalités de genre (Pour plus d’info, voir les capsules vidéo de l’EPFL sur l’égalité par Pascal Gygax, psycholinguiste expérimental et psychologue cognitif à l’UNIL) 

petite salle de cours avec un présentateur devant des étudiantes et étudiants montrant une salle de cours Photo par Kenny Eliason sur Unsplash

Faire des projets concrets sur le numérique suscite votre intérêt ? Vous êtes une professeure intéressée par le numérique, une formatrice qui souhaite en apprendre plus sur la pédagogie par projets ou une étudiante à l’UNIGE qui souhaite faire plus de projets concrets avec des étudiantes d’autres facultés ?  

Le cours Comprendre le numérique répond à ces besoins ! Ce cours transversal a en vue un objectif double dont le premier est d’apporter aux étudiantes une culture générale sur le numérique et deuxièmement, de favoriser les interactions entre les étudiantes de différentes disciplines. Proposé par Prof. Yaniv Benhamou (Faculté de droit, Digital Law Center et Bureau de la transformation numérique BTN) et Seth Médiateur Tuyisabe (Faculté de droit), le cours est proposé sur deux semestres, en hiver, le cours est séparé en deux, 1) le premier est un enseignement ex-cathedra plus général et pluridisciplinaire ; 2) le deuxième, au printemps, articule études de cas concrets et apprentissage par projet. Nous parlerons de ce deuxième pan tout au long de ce billet de blog. 

Le cours Comprendre le Numérique 2 dispensé au printemps prend donc la forme de cliniques du numérique. Les étudiantes issues des diverses facultés traitent en groupe des problématiques concrètes du numérique et développent ainsi leurs compétences numériques et transversales. Elles mettent en pratique leurs diverses connaissances théoriques et les appliquent concrètement au travers d’une expérience collaborative et interdisciplinaire. Les cas d’étude sont proposés par des collègues de l’institution ou des partenaires externes. Les thématiques abordées sont les suivantes : art numérique, égalité, cybersanté, environnement, humanités numériques, sociétés numériques, science citoyenne et technologie éducative, justice (source) 

Lors de la précédente édition au printemps 2024, huit groupes de travail ont été répartis sur huit projets différents. Nous suivrons l’expérience et le travail du groupe composé d’Ayman Chidda (B1 au CUI), Daniel Dos Santos Casas (M2 au MALTT) et Nada Metwaly (B3 en Droit) qui se sont intéressées aux usages scolaires de l’intelligence artificielle générative (IAG) et plus particulièrement à la place de la pensée critique dans un contexte d’ère informationnelle assisté par l’IAG. 

Retour d’expérience de Daniel Casas 

L’objectif du semestre : produire un livrable utile à la population  

Le cas soumis et traité par le groupe était le suivant : 

A l’école, on insiste beaucoup sur le principe de la citation des sources pour éviter toute forme de plagiat et respecter le droit d’auteur. Comment ce principe est-il transformé par l’émergence d’IAG ? Comment sensibiliser un public de jeunes (15-19 ans) à ces questions ? 

Un des principaux obstacles du travail en début de semestre a été la définition du cadre. Les IAG doivent avant tout être définis et compris, avant de s’attaquer à la problématique de citation et de plagiat. En effet, nos recherches préliminaires nous ont montré que ces deux domaines ne s’appliquent pas strictement qu’aux IAG et restent plutôt générales. C’est pourquoi nous nous sommes redirigées vers un cadre plus précis et plus orienté sur les IAG, leurs fonctionnements et des dangers qui leur sont propres. Nous avons donc choisi de réajuster la problématique de la sorte :  

Comment initier les adolescentes âgées de 15 à 19 ans à développer leur esprit critique face aux intelligences artificielles génératives ?  

Dès lors, avec un cadre redéfini, nous avons pu nous concentrer plus efficacement sur des problématiques fortement liés aux IAG, sans pour autant sortir du cadre initial donné.  

Le public cible se trouve être l’ensemble des élèves du secondaire II, c’est-à-dire les adolescentes et les jeunes adultes qui ont entre 15 et 19 ans. La réflexion s’est donc tournée sur l’élaboration d’un MOOC (Massive Open Oline Course). Néanmoins, voyant les semaines défiler et les échéances du cours approcher, nous avons décidé de réduire nos attentes en développant plus concrètement un cours se déroulant sur deux périodes, soit un total de 2 * 45 minutes. 

Nous avons souhaité articuler la formation autour de ces deux objectifs : (I) la sensibilisation les adolescentes aux usages scolaires des intelligences artificielles génératives (IAG) et (II) le développement de leur esprit critique dans le contexte des dangers informationnelles médiatiques et, surtout, de déploiement des IAG.  

Nous nous sommes essentiellement concentrées sur l’appropriation du sujet et de la thématique, c’est-à-dire le développement de notre esprit critique dans une ère d’IAG. En particulier, l’idée d’un cours hybride nous semblait la plus pertinente. La formation se déroulerait en premier à travers une vidéo que les participantes pourraient visionner individuellement et à leur rythme. A l’issue de ces vidéos, quelques activités seraient proposées : dans un premier temps, les élèves réponderaient à des questions concernant le contenu des vidéos visionnées précédemment. Ensuite, il leur serait demandé de participer activement et collectivement à une discussion argumentée. Enfin, la formation amènerait les élèves à collaborer autour de la co-création d’une charte d’utilisation éthique des intelligences artificielles génératives.  

Conscientes que ce livrable ne pourrait être utilisable principalement via le corps enseignant, nous avons donc choisi aussi de développer un guide d’animation à destination de ce dernier afin de permettre une prise en main guidée et effective de notre livrable dans les salles de classes. Ce guide rassemble les objectifs pédagogiques que les élèves doivent atteindre grâce à la formation. Il explique également le déroulement de la formation, le matériel nécessaire, ainsi que le temps attribué à chaque étape. 

Notre formation est prête à l’emploi et peut être testée par les enseignantes qui désireraient se l’approprier (lien). Nous vous serions extrêmement reconnaissant d’envoyer tout commentaire constructif à l’adresse suivante : casas.daniel@outlook.fr 

Développement du livrable  

Le développement du livrable s’est déroulé en plusieurs étapes clés :  

Elaboration d’un planning de travail 

Avant toute chose, nous avons conçu un planning retraçant les points clés définis dans le cadre du cours : le début de la production de notre livrable, la date de rendu du livrable, le poster à réaliser pour la communication de notre projet et les préparatifs pour la présentation finale.  

Ce planning de travail a pour but de poser un cadre et un fil rouge qui nous suivons tout au long du développement, afin de ne pas se perdre ou se mêler les pinceaux. Bien sûr, il permet également de servir de rappel aux différents deadlines à respecter, durant le semestre de travail.  

Il faut, toutefois, garder en tête que le planning n’est pas immuable. Il est tout à fait possible de le modifier et de le réajuster en fonction des imprévus ou des changements de directions du contenu du projet. Le planning est à garder à jour constamment.   

Mon ressenti, lors de cette étape, était que cela pouvait sembler décourageant et interminable, au vu des nombreux changements auxquels nous avons du procédé. Mais il ne faut baisser les bras, surtout lors de cette étape qui détermine les bases du projet entier.  

Définition de la problématique et de son cadre 

Il s’agit peut-être du point qui nous a pris le plus de temps. Nous n’avions pas saisi de manière claire la définition du cadre selon la problématique du commanditaire. Il nous a fallu plusieurs réunions afin d’affiner une problématique précise et pertinente dans le cadre donné initial. Toutefois, tout ce temps investi dans ce seul point s’est révélé efficace, car il nous a permis d’avoir un fil rouge à suivre et de garder des objectifs précis en tête, de nous donner des raisons quant à notre travail, boostant indirectement notre motivation et implication dans notre projet.  

Cette étape a également été décourageante, durant un moment, à cause du manque de cadre clair et de la problématique de notre projet.  

Premières propositions de solutions, en parallèle de nos recherches de bases scientifiques

Nos premières solutions se sont construites autour de la problématique donnée. C’est pourquoi il est important définir clairement cette dernière. À la suite de cela, nos premières idées de solutions ont afflué, tout en menant des recherches sur le sujet que nous traitions, pour mieux l’approprier et affiner la justesse de nos solutions.  

Nous avons procédé à une recherche de solutions existantes dans le domaine : flyers, documents, sites web, MOOC, cours universitaires, etc. Et nous nous sommes imaginées produire quelques-unes de ces solutions. Cependant, nous n’avons pas trouvé de côté innovant concernant le support, puisque ces solutions existaient déjà pour le thème choisi. Nous nous sommes senties comme dans une impasse, dans une impossibilité de continuer notre projet dans la direction que nous lui avions initialement donné… 

Sélection d’une solution précise et définie

Alors, nous avons choisi une formation hybride pour une classe du secondaire : une partie individuelle devant son poste d’ordinateur et une partie collective où chacune participe de vive voix. Notre but est, grâce à la partie individuelle, d’introduire chaque élève au contenu et aux informations pertinentes à son rythme. Chacune gère son propre tempo. Puis, nous avons souhaité mettre en avant le travail collectif et la création d’une charte d’utilisation éthique où chacune peut poser sa pierre à l’édifice. Cette charte n’est pas absolue et deviendra probablement rapidement obsolète, à la vue de la rapidité d’évolution du domaine de l’IA. Toutefois, l’exercice poussera les élèves à réfléchir de manière critique vis-à-vis de cette technologie et à comprendre les différents enjeux qui y sont liés.  

Cette étape a reboosté notre motivation. Nous apercevions enfin un but clair vers lequel avancer. C’était le tremplin nécessaire à la réalisation finale.  

Réalisation d’une maquette du livrable sur Figma

Une fois la solution sélectionnée, nous avons procédé à la création d’une maquette de la plateforme hébergeant notre formation hybride. Nous avons utilisé Figma pour la créer. Cette étape n’a pas été la plus difficile étant donné que je possédais déjà quelques compétences sur ce logiciel, acquis dans le cadre de mon master (MALTT). Cette maquette simule l’expérience d’une utilisatrice qui navigue au sein de la plateforme. On y trouve une page index et les deux pages des deux chapitres développés.  

Création d’un guide d’animation pour accompagner l’enseignante dans notre formation

Comme nous voulions que ce soient les enseignantes du secondaire qui s’approprient notre formation, nous devions créer un guide d’animation pour les accompagner et expliquer chaque étape de notre formation et afin d’expliquer leur importance.  

Ce guide d’animation détaille les objectifs pédagogiques, le temps attribué aux différentes étapes ainsi que leur déroulement, le matériel nécessaire, ce qui est attendu aux élèves et les instructions que l’enseignante doit donner à sa classe.  

Récolte de feedback et implémentation des retours et suggestions 

Pour affiner notre formation, nous nous sommes appuyées sur différents feedbacks lors du semestre. Ils ont été essentiels pour ajuster notre dispositif et mettre en lumière des incohérences ou des incompréhensions là où nous ne les avons pas soupçonnées.  

En effet, notre encadrant Kenneth Rioja, ainsi que Seth Mediateur Tuyisabe et le professeur Benhamou ont testé notre formation à travers des questionnements, des demandes de justifications sur certains choix tout en proposant différentes pistes.  

De plus, deux membres du Pôle de Soutien à l’enseignement et à l’apprentissage (SEA) nous ont donné un feedback sur notre formation, ce qui nous a permis de confirmer la plupart de nos choix tout en proposant quelques réajustements pertinents.  

Enfin, les derniers feedbacks que nous devrions recevoir sont ceux des utilisatrices elles-mêmes, enseignantes comme étudiantes, qui voudraient tester notre dispositif. 

Parcours tout au long du semestre 

L’obstacle principal a été le manque de clarté de la problématique donné par le commanditaire. En effet, la question nous semblait trop ouverte et pas assez opérationnelle. Nous souhaitons donc vous rendre attentives quant à la clarté et la définition de la problématique et du cadre afin que les étudiantes puissent s’attaquer aux tâches demandées dès que possible.  

Ensuite, un autre obstacle était les changements opérés dans la constitution du groupe. Plusieurs membres du groupe ont quitté le projet durant le début de semestre et nous nous sommes retrouvées à seulement 3 membres, en comparaison avec les autres groupes, composés de 5 à 8 membres. Pour nous adapter, nous nous sommes donc réparties les tâches principales entre nous trois, nous obligeant malheureusement à délaisser certains points de côté. En effet, nous avons préféré concentrer nos ressources sur un contenu réalisable et terminer dans un temps limité.  

Enfin, il nous fallut mettre un accent particulier sur l’organisation de notre travail et de la répartition des tâches. Pour cela, nous avons suivi un planning des tâches à faire et de leurs deadlines pour le développement du projet, dès le début. Ainsi, chacune est au courant des tâches qu’elle doit accomplir et pour quand. Bien sûr, la communication reste primordiale, notamment si une des membres du groupe émet des doutes sur ce qu’elle doit accomplir ou pour se préparer aux divers imprévus. En outre, ce n’est pas parce que chacune sait ce qu’elle doit faire qu’il faut ignorer les réunions régulières. Elles restent capitales pour s’assurer que tout le monde est sur la même longueur d’onde pour le développement du projet et des tâches qui sont accomplies, pour en garantir la congruence et veiller à ce que les deadlines soient respectées.  

Perspectives 

Pour la suite, nous espérons, dans un premier temps, améliorer notre maquette et son contenu, en y appliquant les divers feedbacks que nous avons reçu et que nous pourrions recevoir par la suite. Puis, dans un second temps, nous aimerions élargir les thématiques abordées dans notre formation (la protection des données, la désinformation, la citation de contenu généré par l’IA, etc.) 

Take Home Message 

  • Tenir un journal de bord et en sortir des propositions d’amélioration concrètes à présenter au groupe la semaine suivante nous a aidé à être plus organisées. 
  • Organiser via la mise en place d’un planning et le remanier en fonction de l’avancée à chaque rendez-vous hebdomadaire. 

Contribution des auteurs 

KR a initié l’écriture et de ce billet de blog. KR a rédigé la première ébauche de la structure générale. KR a écrit la première ébauche de la partie introductive et a procédé aux corrections du manuscrit. DDSC a écrit la première ébauche des parties Objectif, Développement, Parcours, Perspectives et Take Home Message. DDSC et KR ont contribué équitablement au billet final.

Pour citer de billet : Dos Santos Casas, D., & Rioja, K. (2024, Septembre). Mener des projets concrets liés au digital à l’UNIGE – Retour d’expérience d’un étudiant au cours “Comprendre le numérique 2”. CIEL – Communauté d’intérêts pour l’enseignement en ligne. article en ligne

 

➡️ Lien vers la page du cours


Mai0720247 mai 20247 mai 20240Commentairepar Szilas

Le point aveugle

Publié dans Analyses & réflexions, Articles

Dans ce billet, une fois n’est pas coutume, nous parlerons d’écologie. La rencontre du CIEL avec la Terre, en quelque sorte.

Il peut sembler quelque peu déplacé d’aborder ce thème au milieu d’articles sur le numérique et ses usages pour l’enseignement et l’apprentissage. D’ailleurs, parlant d’écologie, le numérique n’est-il pas ce lieu dématérialisé, supprimant avantageusement l’usage massif du papier (donc l’abattage d’arbres), abolissant les distances (et donc les transports matériels), nous unissant tous dans un monde éthéré (le cloud), où, en quelques clics discrets, sur des terminaux toujours plus légers, nous pouvons exercer nos activités de plus en plus virtualisées, s’affranchissant des lourdes (et polluantes) contraintes du monde matériel ? Qui plus est, le numérique n’est-il pas la voix de l’avenir pour assurer la transition écologique, optimisant nos processus pour les rendre plus économes et moins polluants, via ce qu’il est convenu d’appeler la «double transition», numérique et écologique ?

Retour à la réalité d’aujourd’hui…

Le numérique pollue. Beaucoup. Beaucoup trop.

Des chiffres ? Des lettres plutôt pour commencer, les (extraits de) titres d’ouvrages grand public récents parus sur la question sont éloquents : «L’enfer du numérique» (Pitron, 2021), «un désastre écologique» (Flipo, 2021), «On va droit dans le mur ?» (Julia, 2022). Malgré leurs titres tapageurs, ces ouvrages sont tout à fait documentés, et étayés par des études sérieuses réalisées par exemple par l’ADEME (l’Agence de la transition écologique en France) ou le Shift Project (think tank œuvrant pour une société décarbonée, composé de scientifiques). On cite souvent le chiffre de 4 % des émissions de gaz à effet de serre, chiffre qui peut sembler modeste, mais qui est deux fois plus élevé que celui de l’aviation civile ! Mais au-delà des chiffres, c’est avant tout la destruction et la contamination de larges zones géographiques, liées notamment aux activités minières et au traitement (illégal) des déchets électroniques, la monopolisation de l’énergie par les centres de données (le «cloud»), l’épuisement progressif des ressources, etc. Sans oublier les conditions sanitaires et sociales inimaginables grâce auxquelles nos chers appareils sont produits (mines en Centre Afrique, usines Foxconn en Chine, déchèteries au Ghana, etc.).

Vous n’étiez pas au courant ?

C’est normal. Comme il est tout à fait normal que vous oubliiez tout cela peu de temps après la lecture de ces lignes. Non seulement nous sommes submergés par des publicités vantant les mérites de dispositifs numériques légers et porteurs de bien-être, mais aussi, et surtout, un message, explicite ou tacite, sous-tend notre activité citoyenne et professionnelle : le numérique est et sera l’avenir, il est porteur de progrès et d’innovation ; penser autrement, c’est penser de manière réactionnaire, dans toute la signification péjorative du terme.

Que faire ?

Je n’aborderai ici que la sphère professionnelle liée au e-learning, sa conception et son usage, laissant notamment de côté les sphères privées et politiques.

Il n’y a pas de réponse immédiate et facile à la question : les questions écologiques sont complexes, les réponses à apporter aussi. Mais je peux aiguiller vers deux attitudes importantes à adopter :

  1. En matière de conception, penser à adopter une approche de sobriété et d’éco-conception. Cela commence par compresser ses documents et vidéos (réduire), puis se poser la question de savoir si on a vraiment besoin de ces mêmes vidéos (renoncer), se méfier de solutions logicielles complexes qui nécessitent de puissantes machines pour être utilisées, remettre en cause certaines vieilles habitudes bien ancrées dans les pratiques (utiliser PowerPoint pour faire un cours, stocker les ressources sur des serveurs distants, etc.).
  2. Ne pas céder aux «dernières technologies innovantes», ce sont en général les plus polluantes. Ce n’est pas parce qu’une technologie est nouvelle qu’elle doit nécessairement être adoptée. Rappelons ici un principe de base de conception pédagogique : c’est le besoin qui prime, toute technologie n’est pas en elle-même meilleure qu’une autre approche. On le savait déjà, mais maintenant que l’on connaît les conséquences environnementales, cette sagesse devient d’autant plus essentielle.

Au final, adopter la sobriété numérique c’est bien plus que «faire attention» à ses comportements de consommation. C’est questionner les usages à l’aune de la crise écologique et donc repenser la notion même d’innovation. En effet, cette dernière est, depuis plusieurs décennies déjà, auréolée d’un prestige inconditionnel, et immanquablement associée aux technologies numériques. Il conviendrait d’innover moins et d’innover mieux. Goûter la saine satisfaction d’un usage parcimonieux mais bénéfique du numérique.

Pour aller plus loin...

Des références :

Aggeri, F. (2023). L’Innovation, mais pour quoi faire ? Essai sur un mythe économique, social et managérial. Seuil.

Ferreboeuf, H., & The Shift Project. (2018). LEAN ICT- POUR UNE SOBRIÉTÉ NUMÉRIQUE. https://theshiftproject.org/wp-content/uploads/2018/11/Rapport-final-v8-WEB.pdf

Flipo, F. (2021). La numérisation du monde. Un désastre écologique. Éditions L’échappée.

Julia, L. (2022). On va droit dans le mur ? Pour sauver la planète, il faut un projet de société et une ambition de civilisation. Editions First.

Pitron, G. (2021). L’enfer du numérique : Voyage au bout d’un like. Éditions Les Liens qui libèrent.

Une formation :

La sobriété numérique, le 12 juin 2024.


Mai16202316 mai 202316 mai 20231Commentairepar Birchmeier

ChatGPT pour la recherche académique

Publié dans Analyses & réflexions, Articles, Outils & services, Usages pédagogiques

Introduction

Le 30 novembre 2022, OpenAI lance ChatGPT. En seulement 5 jours, la plateforme atteint le million d’utilisateurs[1]. Cette intelligence artificielle a, en seulement quelques mois, bouleversé notre rapport à l’information et à la connaissance, créant pour beaucoup de professionnels de l’éducation des craintes sur l’avenir de leur discipline.

Je ne suis ni un professionnel de l’éducation, ni un expert de l’intelligence artificielle. Je suis un étudiant en Services et systèmes numériques, un passionné d’informatique et un paresseux aguerri. En décembre de l’année passée, je commençais à écrire ma thèse de Bachelor, sur laquelle je travaillais depuis déjà un certain temps. Ma curiosité, comme pour beaucoup d’autres, m’a poussé à explorer ChatGPT.

« I choose a lazy person to do a hard job. Because a lazy person will find an easy way to do it. »  – Bill Gates

Je voulais tester ses capacités à traiter des sujets complexes, mais pour pouvoir correctement évaluer la qualité des réponses, il me fallait trouver un sujet que je maîtrise. 90% de mes pensées étant consacré à ma thèse, il m’a paru évident de le questionner sur ce sujet. Je me suis rendu compte du potentiel énorme de cet outil lorsque, en quelques interactions, l’IA est arrivée aux mêmes conclusions que moi après environ 10 mois de travail…

Après avoir remis en question mes trois dernières années de formations, j’ai pris du recul et compris que ces résultats n’étaient pas le produit d’une réflexion de la part de ChatGPT mais d’une agrégation très bien formulée de recherches menées par de brillants humains.

Après quelques heures d’utilisation, j’étais convaincu. J’allais utiliser ChatGPT pour écrire ma thèse. Laissez-moi maintenant vous expliquer pourquoi ce billet ne s’intitule pas “Comment j’ai utilisé une intelligence artificielle pour écrire mon travail de Bachelor à ma place”.

Définir un cadre et une méthodologie

ChatGPT n’ayant pas encore fêté ses 1 mois d’existence, il n’existait pas encore de cas concret de son utilisation dans le cadre de la recherche académique et donc pas de directives précises à suivre. Il était donc nécessaire, afin de légitimer mon travail, de définir un cadre et une méthodologie clairs, afin d’utiliser l’outil de manière responsable et éthique. Sous la supervision de Laurent Moccozet, j’ai défini quatre règles fondamentales à respecter:

I. Comprendre l’outil

ChatGPT est un outil performant, mais peut produire des informations erronées ou de mauvaises qualités, il est donc important de comprendre ses limites et son fonctionnement, afin de réduire ces risques. En se basant sur le nom du service, nous pouvons définir 2 méthodes, qui permettent d’améliorer la qualité et la pertinence des réponses, celles-ci sont les suivantes:

Chat : L’une des grandes forces de cet outil est sa capacité à adapter ses réponses, également appelées « prompts », en fonction des retours de l’utilisateur. Il est crucial d’utiliser cette fonctionnalité pour orienter l’IA vers la réponse la plus pertinente. Cette fonctionnalité a même entraîné l’émergence d’un nouveau domaine de recherche, appelé le « prompt engineering ». C’est-à-dire étudier la façon dont l’utilisateur interagit avec le programme et trouver les formulations les plus à même de produire des réponses pertinentes. Par exemple, lorsqu’on utilise une calculatrice, il est plus efficace d’écrire 3³ plutôt que 3×3×3 .

GPT (Generative Pre-trained Transformer) : GPT-3 et 4 sont ce qu’on appelle des LLM ou large language model. En d’autres termes, ce sont des systèmes capables de générer du texte sur une vaste quantité de sujets. Afin d’optimiser ses réponses, il est souhaitable de poser un cadre, en définissant le niveau de précision de ses réponses, ainsi que le contexte d’utilisation, par exemple: « Tu es un étudiant en Bachelor. Tu écris une thèse sur … ». Ce genre de méthodes rentre dans le domaine du prompt engineering et vaut la peine d’être étudié plus en détail afin de vraiment s’approprier l’outil.

II. Connaissances préliminaires

Pour assurer une utilisation efficace des capacités conversationnelles de ChatGPT, l’utilisateur doit posséder des connaissances préalables sur le sujet qu’il interroge, afin d’être en mesure de vérifier et de comprendre les informations données par l’IA.

Ce prérequis est essentiel pour assurer une utilisation optimale de ce service, en tant qu’outil de recherche.

III. Relecture et recherche additionnelles

Chaque réponse fournie par ChatGPT doit être examinée et soumise à une recherche supplémentaire pour vérifier son exactitude, sa pertinence et la source des informations présentées.

ChatGPT ne peut pas être référencé comme source de l’information qu’il fournit, il est donc essentiel de mener des recherches additionnelles, dans le but de soutenir ses affirmations avec des sources fiables.

Il est important de préciser que ChatGPT, contrairement à Bing ou Google, n’est pas un moteur de recherche. Bien qu’il soit capable de générer des informations sur une variété de sujets, il ne vérifie pas leurs exactitudes et véracité car il n’a pas la capacité de précisément déterminer l’origine des informations utilisées pour produire ses réponses. Il reste néanmoins un bon complément aux moteurs de recherche pour donner une direction et/ou afin d’expliquer des concepts résultants de recherches classiques.

Ce processus peut être facilité par l’utilisation de Bing, qui a récemment intégré GPT-4 à son moteur de recherche et qui inclut directement dans ses réponses les sources utilisées. La vérification de la fiabilité de ces références, ainsi que la recherche de sources supplémentaires restent néanmoins nécessaire.

IV. Documentation de l’utilisation

Bien que les réponses de ChatGPT ne puissent pas être directement utilisées comme références, il est important de documenter toutes les discussions pertinentes au travail qu’il a aidé à écrire. Cela permet de légitimer le travail de l’auteur et de prouver l’authenticité du résultat final.

Cette étape est particulièrement importante, car elle permet de soutenir l’utilisation éthique de l’IA pour la recherche académique, mais également de créer un précédent dans un contexte où il s’agit encore d’une technologie émergente et controversée.

Applications concrètes

La versatilité des LLM et la vitesse phénoménale de l’innovation dans le domaine permettent d’innombrables cas d’utilisation. J’ai, pour ma part, identifié 4 applications qui ont servit à la rédaction de mon travail de Bachelor, et pour lesquelles j’ai appliqué la méthodologie décrite ci-dessus.

I. Collecte d’informations

J’ai utilisé ChatGPT pour trouver et comprendre des informations sur des articles, des algorithmes, des concepts mathématiques et d’autres sujets plus ou moins complexes. L’avantage de combiner cet outil avec des moteurs de recherches classiques est qu’il permet d’obtenir des informations très précises, basées sur différentes sources agrégées en réponses digestes et compréhensibles pouvant ensuite être développées plus profondément grâce à la fonctionnalité de chat.

Pour assurer l’exactitude des informations collectées, j’ai utilisé des sources alternatives de vérification Si aucune source fiable n’a pu être identifiée, les informations n’ont pas été utilisées.

II. Description des algorithmes

J’ai fourni à ChatGPT des extraits de mon code, dûment annoté, afin qu’il me génère des descriptions des algorithmes utilisés. Les réponses produites, bien que partiellement correctes, m’ont permis de gagner du temps sur la rédaction ainsi qu’à mettre des mots sur des concepts complexes qui ne sont pas toujours évidents à traduire en langage naturel.

III. Amélioration de la qualité d’écriture

L’utilisation régulière de ce nouvel outil a impacté ma façon de rédiger. Là où auparavant je prenais soin de bien formuler chaque phrase les unes après les autres au fur et à mesure que j’écrivais, avec ChatGPT j’ai pu me concentrer sur le contenu et lui déléguer (partiellement) la forme. J’ai rapidement pris l’habitude de rédiger mes idées directement dans le chat sous forme de note afin qu’il me génère des phrases cohérentes et bien écrites.

IV. Utilisation de ChatGPT comme point de départ

Je me suis ensuite servi des réponses de ChatGPT comme fondation pour ma thèse en apportant les modifications nécessaires et en les ordonnant de sorte à former un tout qui soit cohérent et fidèle à mes idées.

Dans certains cas, les phrases générées par ChatGPT étaient suffisamment bonnes pour être utilisées (presque) telles quelles, mais dans la grande majorité des cas, la plupart du contenu a été modifié pour s’adapter à la structure globale du document ainsi qu’à mon propre style d’écriture. Je pense qu’il est important de ne pas trop se reposer sur les formulations produites par le LLM afin d’éviter que la forme rédactionnelle ne devienne trop impersonnelle.

Comme je l’ai précisé plus haut, la conversation utilisée pour générer ce texte a été mise à disposition dans les annexes de mon travail afin qu’elle puisse servir d’exemple de comment utiliser l’IA efficacement pour la rédaction.

“Du coup c’est le robot qui a fait le travail à ta place ?”

C’est la question que tout le monde se pose, et c’est légitime. ChatGPT est un outil incroyable et bien qu’il m’ait aidé à améliorer considérablement ma productivité, il n’a pas inventé les algorithmes présentés dans ma thèse.

Comme on ne remet pas en question le travail d’un mathématicien qui utiliserait une calculatrice, l’utilisation de ChatGPT ne devrait pas non plus remettre en question mon travail. Il est vrai que certains pourraient utiliser cet outil sans documentation ou de manière inappropriée pour accomplir leur travail à leur place. Mais le fait est que les IA existent, continueront d’exister et de s’améliorer. Aujourd’hui, ChatGPT offre un avantage concurrentiel et il serait contre-productif de l’interdire. Au contraire, nous avons l’opportunité de l’intégrer dans le système éducatif, d’offrir aux étudiants un tuteur capable de s’adapter à leur besoin, disponible à tout moment pour répondre à leurs questions et sans crainte d’être jugé.

Je suis profondément convaincu qu’un tel outil, correctement adapté, a le potentiel d’améliorer l’apprentissage des étudiants à chaque étape du système scolaire. Sal Khan, le fondateur de la Khan Academy, a déjà intégré un tel outil à sa plateforme d’apprentissage en ligne et les résultats sont encourageants.

[jwplayer mediaid= »13985″]

Ce nouvel outil et les intelligences artificielles de manière générale ne sont cependant pas sans risques. Au-delà des inquiétudes autour de l’insurrection des machines, les capacités génératives des IA modernes posent de sérieux risques autour de la falsification des informations, et de l’incapacité de ces machines à évaluer les risques liés aux réponses produites. Il est crucial de continuer à améliorer ces systèmes plutôt que d’essayer de les interdire, afin de minimiser les risques et de garder un certain contrôle quant à leurs utilisations.

Le changement est inévitable, autant en faire partie.

[1] Buchholz, K. (2023) ‘ChatGPT Sprints to One Million Users’, Statista, 24 janvier. Disponible à: https://www.statista.com/chart/29174/time-to-one-million-users/ (consulté le 24 mars 2023).


Avr14202314 avril 202318 avril 20230Commentairepar Sugar Chmiel

Learning analytics ou comment lire les traces numériques pour aider les étudiant-e-s en difficulté?

Publié dans Analyses & réflexions, Articles

Image générée par DALL-E
Prompt: « footprints on a surface with electronic structure » 31 mars 2023

Au cours de leur parcours de formation, étudiant-es et enseignant-es naviguent souvent sur des plateformes en ligne de toutes sortes, LMS comme Moodle, quiz, portfolios, wikis etc. Comme toute visite sur un site web, achats en ligne ou échanges sur les réseaux sociaux, ces cheminements virtuels laissent des traces numériques.

Learning analytics

En éducation supérieure comme ailleurs, ces traces, combinées à certaines informations enregistrées en cours de formation, peuvent être analysées à différentes fins. C’est ce qu’on appelle learning analytics, un domaine d’exploration proche des intelligences artificielles (IA). Si on demande à un de ces outils d’IA les plus connus actuellement (il s’agit bien sûr de ChatGPT):  « Fais une liste des approches en learning analytics utilisées au niveau universitaire dans le monde » (Requête du 5 avril 2023), il propose une liste assez complète:

« Voici une liste des approches en learning analytics utilisées au niveau universitaire dans le monde :

  1. Analyse des données d’utilisation des plateformes d’apprentissage en ligne (Learning Management Systems) pour identifier les modèles d’utilisation, les tendances et les lacunes dans les performances des étudiants.
  2. Analyse des données de fréquentation des cours pour identifier les étudiants qui manquent régulièrement les cours et leur fournir un soutien supplémentaire.
  3. Analyse des données d’inscription pour identifier les tendances en matière d’inscription et de désinscription des cours et pour comprendre les raisons sous-jacentes de ces tendances.
  4. Analyse des données de performance des étudiants pour identifier les facteurs qui influencent la réussite ou l’échec des étudiants dans un cours particulier, tels que la participation aux forums de discussion, les résultats des examens et les devoirs soumis.
  5. Analyse des données de rétroaction des étudiants pour comprendre les perceptions des étudiants sur l’efficacité de l’enseignement et pour améliorer la qualité de l’enseignement.
  6. Analyse des données d’interaction sociale entre les étudiants pour comprendre comment les étudiants interagissent entre eux et pour améliorer la collaboration et la communication.
  7. Analyse des données de réussite des étudiants pour identifier les facteurs qui contribuent à la réussite universitaire, tels que la participation à des activités parascolaires et la prise de décisions éducatives éclairées.
  8. Analyse des données de rétention des étudiants pour identifier les facteurs qui influencent la rétention des étudiants et pour fournir un soutien supplémentaire aux étudiants à risque.
  9. Analyse des données démographiques des étudiants pour comprendre les tendances en matière de diversité et pour identifier les groupes d’étudiants qui ont besoin d’un soutien supplémentaire.
  10. Analyse des données de progression des programmes pour comprendre comment les étudiants naviguent à travers les programmes d’études et pour améliorer la planification des programmes. »

Copié à partir de l’adresse https://chat.openai.com/chat

Je reprends cependant la plume pour donner quelques exemples de ce que le learning analytics permet de faire:

  • Accompagner la mise en place d’enseignement individualisé en adaptant le parcours d’apprentissage et les activités et ressources proposées selon les actions de l’étudiant-e.
  • Contribuer à l’amélioration continue d’une formation en analysant l’évolution du niveau de compétences des étudiant-es tout au long de leur parcours de formation.
  • Mettre en regard les compétences visées dans une formation et les compétences demandées sur le marché du travail.
  • Participer au contrôle qualité d’une formation en monitorant le taux de rétention, l’évolution des notes ou la comparaison des résultats obtenus par les étudiant-es de différentes volées.

En bref, là où il y a des traces numériques et des informations accessibles en ligne, le learning analytics permet de les synthétiser, de les analyser et de les utiliser à différentes fins. Les destinataires de ces analyses peuvent être aussi bien les étudiant-es que les enseignant-es, les responsables de formations, doyen-nes, recteurs ou rectrices.

Mise en pratique

Un exemple est le programme « Ma réussite » utilisé à l’Université de Laval. Cet outil agrège plusieurs traces numériques de la participation estudiantine avec les résultats aux tests pour générer un indicateur qui peut être vert si tout va bien, orange s’il faut être attentif ou rouge si le risque d’échec est élevé. Ces indicateurs sont visibles pour chaque étudiant-e lorsqu’il ou elle visualise sa liste de cours sur la plateforme d’apprentissage de l’université. Ils sont également visibles pour les enseignant-es et les directions de programme, leur permettant un suivi en temps réel du déroulement des cours. Les informations sur ces indicateurs sont toujours accompagnées des adresses des contacts (direction de programme, enseignant-es, assistant-es) et d’une liste de ressources à disposition.

Il va sans dire que l’exploitation de traces en éducation pose – ou devrait poser – des questions aussi bien stratégiques et politiques que pédagogiques et éthiques. Il s’agit non seulement de la confidentialité et de la protection des données, mais aussi de l’approche pédagogique qui sera encouragée ou non par ces outils. Ils peuvent servir aussi bien une normativité restrictive qu’une grande créativité, ouvrir un champ des possibles, mais aussi parfois un champ de mines. La série d’articles « Learning Analytics and AI: Politics, Pedagogy and Practices » donne un bon tour d’horizon et la checklist DELICATE  proposée par  Drachsler et Greller me semblent être des guides utiles pour se poser les bonnes questions concernant l’objectif, le respect de la vie privée et la protection des données lorsqu’on souhaite lire et analyser des traces numériques ou des informations en ligne.

Lire aussi:
Les Learning Analytics : un phénomène en expansion dans l’enseignement supérieur (Hausman 2019, présentation aux ABC Days Louvain-la Neuve)

Les traces des étudiant-es en difficulté

Un enjeu important en enseignement supérieur est d’identifier le plus tôt possible les étudiant-es en difficulté. Cette identification précoce ainsi qu’un « diagnostic » du type de difficulté permet de proposer à ces étudiant-es des solutions adaptées selon le domaine concerné: lacunes dans les connaissances théoriques, dans le raisonnement et la pensée critique, l’organisation, le savoir-faire ou le savoir-être. Selon le type de difficultés identifié, cet accompagnement des étudiant-es permet de trouver des solutions dans la majorité des cas. Il y a des exceptions comme l’identification d’une situation problématique au niveau socio-économique, psychologique ou psychiatrique pour lesquels les services externes correspondants seront proposés. Il faut souligner que les étudiant-es présentent souvent plusieurs types de difficultés en parallèle.

Pour plusieurs domaines dans lesquels les étudiant-es peuvent avoir des difficultés, il existe des traces, numériques ou non. Si on reprend les exemples de mon assistant conversationnel, on comprend par exemple que le suivi des activités sur Moodle et de la présence en ligne permettent d’identifier des types de difficultés comme une perte de motivation, des difficultés à s’organiser dans ses études, une compétence communicationnelle peu professionnelle, des lacunes dans les connaissances théoriques ou dans le savoir-faire. Un groupe de suivi et de soutien aux étudiant-es peut alors proposer des solutions adaptées à ces différentes situations.

Le choix des indicateurs pour identifier une personne qui a des difficultés dans ses études dépendra des types de difficulté que l’on souhaite identifier, et des moyens qui peuvent être mis en œuvre lorsque l’indicateur est au rouge. Dans l’exemple de l’outil « Ma réussite » cité plus haut, l’approche se base sur le fait reconnu que l’activité en ligne dans un cours a une valeur prédictive pour la réussite. Les indicateurs sont donc centrés sur le nombre d’accès au site du cours, le nombre de pages consultées, de documents téléchargés, l’activité sur les forums etc. Ces informations sont complétées par les résultats d’évaluation dès qu’ils sont disponibles. Il s’agit donc d’une approche prédictive qui permet à l’étudiant-e, si l’indicateur pour un cours est orange ou rouge, de prendre des mesures jugées adéquates pour améliorer ses chances de réussite.

Une exploration à la Faculté de médecine de Genève

Comme dans d’autres centres universitaires, le curriculum de médecine à Genève comprend de vastes connaissances théoriques à assimiler, mais aussi des compétences communicationnelles, des savoir-faire et une grande responsabilité professionnelle. Ces études sont exigeantes et les enjeux sont importants pour les étudiant-es, la Faculté, les hôpitaux universitaires et aussi la société qui a besoin de médecins qualifiés. Il va de soi que lors de leurs études, certains étudiant-es peuvent rencontrer des difficultés et avoir besoin du soutien du groupe de suivi et de soutien de la Faculté. En analysant les types de difficultés les plus fréquentes chez les étudiant-es en médecine ainsi que les outils numériques couramment utilisés tout au long des études, les traces récoltées dans le portfolio électronique (Geneva Portfolio support GPS) nous ont semblé intéressantes pour une analyse permettant d’identifier le plus tôt possible les étudiant-es en difficulté.

Ce portfolio est aligné avec le référentiel national des compétences pour les études de médecine en Suisse, PROFILES. Il est utilisé dès la deuxième année du bachelor et jusqu’à l’année de stage en dernière année d’études et comprend des formulaires où sont documentées et évaluées les activités des étudiant-es dans plusieurs domaines de compétences:

Connaissances théoriques: L’érudition et l’expertise médicale sont évaluées dans le portfolio lors des stages. Il est évident que le groupe de suivi et de soutien dispose également des évaluations des tests et examens écrits qui leur permettent d’identifier les étudiant-es en échec.

Professionnalisme: Dès la seconde année d’études, la présence et le comportement d’apprentissage lors des tutorats en petits groupes sont évalués par les tuteurs dans le GPS. L’attitude professionnelle est également évaluée par les enseignant-es lors des séances des patients simulés ou dans les années master lors de l’apprentissage en milieu clinique.

Communication: La communication avec les patient-es et leurs familles, mais aussi avec les autres professionnels de la santé est une compétence centrale qui est évaluée par les superviseurs dans le GPS à l’aide d’échelles adaptées pour mesurer l’évolution de l’autonomie des étudiant-es en utilisant les « Entrustable Professional Activities » (EPAs)

Savoir-faire et gestes techniques: Ce domaine comprend la capacité de faire un examen physique et d’accomplir les gestes techniques définis dans le référentiel de compétences. En bachelor 2 et 3 cette compétence est évaluée à l’aide d’une échelle ad hoc lors de l’entraînement avec des patient-es simulé-es. En master, l’évaluation documente l’évolution de l’autonomie pour les gestes techniques.

Ces éléments du portfolio GPS permettent de définir des indicateurs pour identifier les différents types de difficulté décrits plus haut. Ces indicateurs ne sont donc pas prédictifs comme dans l’exemple « Ma réussite », ils suivent une approche diagnostique qui doit permettre une intervention ciblée du groupe de soutien. Cette intervention sera  différente lors de lacunes de connaissances, de problèmes de communication ou d’attitude professionnelle.

Le défi actuellement est de définir pour chaque indicateur la valeur seuil qui aura la meilleure spécificité et sensibilité, c’est à dire qui trouvera tous les étudiant-es ayant vraiment des difficultés (vrais positifs) en excluant les étudiant-es qui n’en ont pas (vrais négatifs).

Depuis le printemps 2021, les éléments du portfolio sont analysés chaque semestre pour les étudiant-es en bachelor 2 et 3 ainsi que pour les étudiant-es en première année master pour identifier les d’étudiant-es qui sont sous les valeurs seuil définies. Leur dossier est alors examiné par le groupe de suivi et de soutien qui confirme ou non la présence d’une difficulté et nous permet ainsi de calibrer les indicateurs. Les étudiant-es pour lesquelles une difficulté a été identifiée sont alors contacté-es par le groupe de suivi et de soutien, comme lorsqu’une difficulté est identifiée par un autre chemin (suggestion d’un-e tuteur, tutrice ou superviseur-e, demande des étudiant-es).

Cette première exploration des traces dans le portfolio électronique des étudiant-es en médecine est prometteuse, car elle permet d’identifier certain-es étudiant-es ayant besoin d’un suivi qui n’auraient peut-être pas été identifié-es par d’autres moyens.

Elle présente également des perspectives intéressantes pour le learning analytics, qui permettrait d’automatiser certaines analyses et de mettre à disposition des étudiant-es des infographies leur permettant de corriger leurs stratégies d’apprentissage ou d’identifier leur besoin de s’adresser au groupe de suivi et de soutien.

Bien entendu, les bases juridiques assurant que cette démarche est bien conforme aux lois qui s’appliquent à l’université ont été clarifiées et un formulaire d’information aux étudiant-es a été intégré au module d’introduction au GPS qui doit être suivi lors de la première utilisation.

Conclusion

L’analyse des traces numériques dans l’enseignement supérieur peut être une ressource intéressante pour tous les intervenant-es, étudiant-es, enseignant-es et responsables de formation. Elles permettent par exemple d’identifier et de mieux accompagner les étudiant-es en difficulté. Cependant il faut garder à l’esprit que la lecture de traces est une science qu’il s’agit d’appliquer à bon escient et de manière éthique.