4.Processus d'apprentissage

L'analyse du processus d'apprentissage concerne le parcours des apprenants et les données recueillies en cours de la réalisation de l'activité. Il s'agit de la dimension la moins investiguée en sciences de l'éducation dans la mesure où les données sont plus difficilement accessibles et le traitement de celles-ci est chronophage pour les professionnels. Etant donné le nombre d'élèves et la complexité des prises d'informations (dresser un bilan personnalisé au fil de l'apprentissage, identifier les erreurs, détecter la perte d'attention, etc.), ces observations doivent être instrumentées. Pour le chercheur ou pour l'enseignant, cette instrumentation est dorénavant facilitée avec les environnements d'apprentissage humain informatisés avec l'enregistrement et l'archivage des différentes activités de l'apprenant dans ceux-ci. Cette démarche est cohérente avec une approche socio-constructiviste de l'apprentissage qui accorde de l'importance à la démarche d'apprentissage des individus et entre individus, et pas uniquement aux résultats de celle-ci. En d'autres mots, l'important n'est pas uniquement le but mais le chemin qui y mène. Pour Chamberland & al. (2010), la compétence ne peut d'ailleurs se voir et se mesurer qu’à travers l’empreinte qu’elle laisse dans sa mise en œuvre. Cette empreinte peut prendre la forme d’indices, de signes perçus lors d’observations ou d’artefacts laissés par l’action elle-même. Le terme générique de trace est généralement associé à toutes les formes possibles de cette empreinte. Ces données ne deviennent bien évidemment probantes qu’en fonction de l’analyse humaine qui en est faite.

4.1 La notion de trace

Sur le plan conceptuel, la trace correspond à « un enregistrement automatique d’éléments en interaction entre un utilisateur et son environnement dans le cadre d’une activité donnée » (Laflaquière & Prié, 2007, p.1). Comme l’illustre la figure ci-dessous, la trace peut être associée à une séquence temporelle d’opérations et d’outils mobilisés par l’utilisateur en interaction avec un système informatique (Champin & Prié, 2002 cités par May, 2010).

D’un point de vue informatique, chaque activité de l’utilisateur avec les outils et les ressources disponibles dans l’environnement est enregistrée avec une référence temporelle dans une base de données. Les informaticiens désignent cet enregistrement de la trace de l’activité d’un utilisateur comme une donnée brute ou plus communément par le terme de « logfile ».Au niveau de leur nature, les données brutes peuvent concerner à la fois, les accès à l’environnement, les données issues des interactions sociales (messages postés, ouverture d’un message, création d’un fil de discussion...), les actions dans un espace de structuration comme le wiki (éditions, consultations, enregistrements, modifications...), les consultations d’une ressource en ligne, la navigation dans un glossaire, le téléchargement d’un document mis à disposition, le remplissage d’un questionnaire, le temps utilisé pour réaliser une activité, etc. Pour faciliter la lecture, il est indispensable de développer une synthèse structurée de ces informations. Pour y parvenir, ces données brutes doivent être agrégées et traitées à l’aide d’un logiciel dédié de manière à créer des indicateurs qui ont du sens pour les apprenants ou pour les tuteurs et qui représentent au mieux l’activité mise en œuvre dans l’environnement. Pour Dimitracopoulou & Bruillard (2007, p.8), « Un indicateur est une variable au sens mathématique à laquelle est attribuée une série de caractéristiques. Chaque indicateur, en tant que variable, peut être indépendant ou dépendant d’autres variables, voire d’autres indicateurs d’analyse d’interactions. Ainsi certains indicateurs sont dépendants du temps (la contribution hebdomadaire dans le forum de discussion, par exemple), d’autres peuvent être considérés comme étant indépendants du temps (la densité du réseau social dans le forum de discussion, par exemple). »

En ce qui concerne la nature, Dimitracopoulou (2008) distingue les indicateurs cognitifs et les indicateurs sociaux. Les indicateurs de nature cognitive fournissent des informations sur les activités de l’individu ou du groupe, relatives au processus et au contenu de la tâche. Des informations peuvent porter sur le degré d’interaction dans le temps, sur l’état d’avancement dans la séquence pédagogique (en visualisant les différentes étapes effectuées), sur le temps passé pour chaque étape de la tâche. Au sein de l’environnement Argunaut, les utilisateurs peuvent par exemple, visualiser les traces de leur activité de conceptualisation. Les différents graphiques donnent la possibilité de mettre en évidence le type d’actions réalisées par chaque membre (créations de liens, insertion d’une question, insertion d’un argument, etc.) pour élaborer la carte conceptuelle commune. Dans le même ordre d’idées, le logiciel C-Map Tools offre la possibilité à partir des traces informatiques de visualiser dans l’ordre chronologique les différentes étapes qui ont permis d’aboutir à la carte définitive.

Au sein d’un wiki géré à partir du système Wikispaces, les apprenants et les enseignants peuvent prendre connaissance de l’évolution de l’engagement dans les tâches d’écriture collaborative en cours. La clef de lecture des graphiques linéaires proposés est relativement simple : une pastille vide indique que l’apprenant n’a ni lu ni écrit dans le wiki, une pastille verte indique une activité en lecture du document partagé, une pastille noire renvoie à l’intensité de sa production et enfin, un drapeau rouge informe que l’apprenant a validé par un enregistrement sa contribution dans l’espace. Ces informations peuvent être observées en fonction d’un intervalle de temps fixé par l’utilisateur.

Sur le plan cognitif, il peut être aussi intéressant de visualiser le contenu des échanges (Mochizuki & al., 2005 ; Allaire, 2008). À partir d’une analyse lexicométrique alimentée par un glossaire de base, Allaire (2008) suggère ainsi de mettre en évidence l’usage effectif des concepts-clefs du cours dans les échanges médiatisés. Au niveau de la nature des données, la visualisation décrit le nombre d’occurrences par mot par contributeur et le niveau d’utilisation du lexique.

Pour évaluer l’activité des apprenants dans un contexte d'apprentissage collaboratif à distance, Jaillet (2005) suggère d’utiliser trois types informations complémentaires de surface que sont l’assiduité qui correspond à la fréquence de connexion des apprenants à l’environnement, la disponibilité qu’il associe à la durée de connexion et l’implication qui se caractérise par le nombre d’opérations effectuées par l’apprenant avec les outils disponibles sur la plate-forme de travail. Dans le but de stimuler les interactions entre les apprenants, l’élaboration de chacun de ces indicateurs à partir de ces trois informations passe par le calcul d’un pourcentage par rapport à celui de ses partenaires qui est le plus actif dans la dimension concernée. Le travail à réaliser en commun dépend en effet en grande partie de l’assiduité, de la disponibilité et de l’implication de tous les membres.

Molinari (2011) utilise l'eye-tracking pour observer l'implication des apprenants dans l'environnement c-map tools et pour mettre en évidence les éléments qui les intéressent dans l'environnement d'apprentissage. L'analyse des usages d'un point de vue cognitif peut également passer par l'observation des éléments sélectionnés par les apprenants en cours d'activité. Lors d'une activité de lecture numérique, Boumazguida, Temperman & De Lièvre (2014) utilisent cette démarche et montrent que ces usages peuvent varier en fonction du moment où l'élève utilise le média dans l'apprentissage.

Sur le plan social, les indicateurs se focalisent plutôt sur la dynamique interactive établie entre les partenaires ou entre les élèves et l'enseignant. Ils s’intéressent le plus souvent au réseau d’échanges qui se met en place au sein de l’équipe ou de la communauté. L’outil Snappvis intègre ce type de visualisation. Chaque cercle aux intersections des axes représente un individu. Les apprenants et le tuteur ont la possibilité d’observer les différents canaux de communication activés au sein du groupe dans le forum de discussion. Ils peuvent ainsi évaluer l’état des relations établies entre les participants en observant le nombre de messages échangés entre eux. Avec cette visualisation du réseau social, ils peuvent identifier rapidement d’une part, les apprenants qui sont en retrait de la situation de communication (cercle plus petit) et d’autre part, ceux qui à l’inverse exercent un rôle de leadership au sein de la communauté (cercle plus large). Une vue globale du réseau social permet également de mettre en évidence d’éventuelles situations conflictuelles qui peuvent être objectivées par la mise en évidence d’absence d’échanges entre deux apprenants ou de la présence de canaux de communication à sens unique (un étudiant ne fournit aucun retour aux messages adressés par un autre étudiant).

Dans le cadre du modèle, nous distinguons les traces en cours de processus qui portent sur les interactions, le temps, les réalisations et les usages. La liste ci-dessous donne des exemples pour chaque catégorie de variables.

1. Interactions : Echanges entre apprenants, échanges entre tuteur et apprenants (forum, chat, face-à-face, etc.)
2. Temps : Durée effective d'apprentissage, distribution de l'apprentissage, temps de connexion, régularité, temps de réponse à une interaction, etc.
3. Usages (eyetracking, logs, clics,...) : Utilisation des fonctionnalités d'un logiciel, consultation de ressources, usages des outils,...
4. Réalisations (production) : Résultats à un questionnaire, Historique dans un wiki ou dans Etherpad, Elaboration d'une carte conceptuelle, ...

Actuellement, certains auteurs vont plus loin et imaginent des algorithmes susceptibles d'exploiter les traces et d'inférer des niveaux de maîtrise à partir de cette exploitation.

4.2 La mise à disposition des traces

Les traces peuvent être mises à disposition des utilisateurs de manière didactique. La visualisation correspond à une association de données à des représentations (Tufte, 2001). Dans sa définition, Few (2013) met en avant le principe d’amplification cognitive. Pour cet auteur, la visualisation recouvre l’ensemble des représentations visuelles qui facilite l’exploration, l’analyse et la communication de données. Dans les environnements d’apprentissage médiatisé, les visualisations offrent une mémoire externe qui décrit les événements passés et sert de support à la communication et à la coordination (Dimitracopoulou & Bruillard, 2007).

Sur le plan informatique, le développement de la visualisation s’opère en plusieurs étapes successives (May, 2010), à partir des activités médiatisées des apprenants dans leur environnement de travail jusqu’à la visualisation de celles-ci.Le développement de la visualisation passe par différentes étapes-clefs: l’enregistrement de la trace, le recueil des données, le traitement des données et l’élaboration d’indicateurs, le design de la visualisation ainsi que la mise à disposition de celle-ci.

D’un point de vue conceptuel, les visualisations font partie intégrante des outils de suivi dans un environnement d'apprentissage médiatisé. L’idée de visualiser l’apprentissage à partir de l’exploitation des traces laissées par l’apprenant durant son parcours d’apprentissage a rapidement trouvé un consensus dans la communauté EIAH ces dernières années avec les recherches centrées sur l’analyse automatique des interactions (Dimitracopoulou, 2008).

Si les visualisations sont susceptibles de synthétiser un nombre conséquent d’informations et de faciliter leurs interprétations, elles ne permettent cependant pas de compenser un environnement en face à face. Plusieurs publications récentes mettent en évidence l’importance de se doter d’outils qui permettent de visualiser des informations directement liées à la médiation sociale et cognitive (Janssen & al., 2011 ; Buder, 2010). On peut, en effet, considérer que les informations sont plus facilement disponibles et traitables dans un environnement numérique grâce à l’archivisation et à la disponibilité des traces informatiques. L’intérêt réside davantage dans la mise en évidence d’informations, qui ne sont pas directement observables par l’apprenant, de manière à lui offrir une réalité augmentée du processus d’apprentissage. Le principe est donc de rendre visible et persistant ce qui est difficilement perceptible ou imperceptible.

Les outils offrant ces visualisations sont souvent désignés par les termes de tableau de bord. Ils informent les sujets sur l’état de leurs actions et de leurs interactions à travers une série d’indicateurs qui leur donnent la possibilité de découvrir la manière dont ils interagissent et évoluent dans l'environnement (Janssen & al., 2007). Ces indicateurs peuvent communiquer des informations qualitatives et quantitatives par rapport aux actions et aux interactions ayant eu lieu précédemment dans l’environnement. Dimitracopoulou & Bruillard (2007) évoquent clairement cette idée dans leurs travaux relatifs à l’usage des forums de discussion en éducation. Pour ces auteurs, il s’agit d’aider à concevoir des interfaces enrichies, ouvrant à de multiples lectures des échanges enregistrés. Ces supports permettant des représentations multiples et diversifiées peuvent apporter une assistance métacognitive directe aux participants (étudiants, tuteurs ou modérateurs) des forums en cours de formation. Dans ce cas, l’exploitation est endogène, car elle sert directement à l’activité d’apprentissage (Laflaquière & Prié, 2007). Les visualisations peuvent aussi fournir une assistance cognitive aux observateurs des interactions d’un forum (enseignants, chercheurs, etc.) qui sont amenés à analyser a posteriori le processus mis en place. L’usage des visualisations est alors de type exogène, car elles sont utilisées en dehors de l’activité elle-même (Laflaquière & Prié, 2007).

Sur le plan pédagogique, l’observation des informations disponibles dans la visualisation initie un mécanisme de feed-back (Janssen & al., 2007) que définit Hattie (2009) comme une information fournie par un agent extérieur par rapport à l’activité de l’apprenant. Hattie (2009) met clairement en évidence au travers des méta-analyses que le feed-back constitue la pratique pédagogique qui a la taille d’effet la plus importante (d=1.13) en contexte d’apprentissage. Le principe est simple ...il est plus facile de s'améliorer quand on dispose d'éléments qui ont été objectivés et mesurés.

En nous appuyant sur les théories du feed-back, on peut considérer que la visualisation de l’activité correspond davantage à ce que Crahay (2005, p.144) définit comme « un feed-back de contrôle qui invite l’apprenant par lui-même à vérifier sa démarche». Dans une étude expérimentale, il montre que cette sollicitation d’une auto-évaluation a davantage d’effet sur la qualité de l’apprentissage que des rétroactions simples ou plus directes de l’enseignant. Dillenbourg (2011) va dans le même sens. Selon lui, l’intérêt principal des outils de visualisation réside dans le fait qu’ils ne formulent pas directement un feed-back expliqué sur la qualité des interactions et de la situation. Ils laissent plutôt la liberté aux élèves de disposer d’une rétroaction qu’ils ont eux-mêmes élaborée à partir des informations disponibles au sein de la visualisation.

Par ailleurs, en nous référant à Hattie & Timperley (2007) qui s’appuient sur les travaux de Kulik & Kulik (1988), le feed-back au cours du processus d’apprentissage est d’autant plus efficace qu’il est administré immédiatement. Nous pouvons considérer que la visualisation obtenue à partir d’un processus informatique automatisée offre cette possibilité de fournir aux apprenants une rétroaction « just in time ». Un certain nombre d’auteurs considère que, par le biais des visualisations, cette rétroaction d’informations exerce également un rôle motivationnel au niveau des apprenants (Janssen & al., 2007 ; Michinov & Primois, 2005).

4.3 Le degré d'étayage de la visualisation des traces

Le statut des indicateurs correspond au degré d’étayage de la visualisation. Pour bien comprendre cette idée d’étayage, Jermann & Dillenbourg (2008) proposent un modèle pragmatique à prendre en compte d’un point de vue pédagogique.

4.3.1 Le niveau "miroir"

Il correspond à la logique du miroir et consiste à afficher les indicateurs de l’activité dans l’environnement (Phase 1 et Phase 2). Dans notre vie quotidienne, ce principe est souvent mis en œuvre dans les technologies que nous utilisons afin de réguler certaines de nos actions (par exemple : l’affichage instantané et permanent de la consommation aide la conduite automobile). Lors de cette phase, le contrôle de l’activité reste alors entièrement entre les mains de l’utilisateur dans l’environnement de travail dans la mesure où il doit interpréter lui-même les données fournies par les indicateurs.

4.3.2 Le niveau "métacognitif"

Le modèle de Jermann & Dillenbourg (2008) met également en évidence que la visualisation peut dépasser la simple fonction de miroir. Le concepteur associe alors l’indicateur ou plusieurs indicateurs à un modèle de référence qui induit un état désiré de la collaboration (Phase 3). Pour Dimitracopoulou (2008), les valeurs de l’indicateur doivent alors être graduées par le biais d’un mécanisme de calibrage qui fixe une norme prédéfinie et adaptée au contexte de la situation. Cette norme correspond à la fixation d’un objectif précis à atteindre pour les apprenants. Le but de cette approche plus normative est de fournir à l’apprenant une aide cognitivo- perceptive pour mieux diagnostiquer et interpréter la situation en question. Une visualisation qui correspond à cette logique de norme et d’objectif est le cadran proposé par le système Nike Runnning GPS pour les coureurs à pied. En course, il les informe de leur progression (jauge du bas) par rapport à un objectif fixé (pastille blanche qui représente un coureur virtuel) sur une distance donnée. Dans l’exemple proposé ci-dessous, il indique que le coureur est en retard par rapport à la vitesse choisie au départ comme référence. Il a encore la possibilité de se réguler et de compenser son retard dans la dernière partie de la course.

En contexte collaboratif, le logiciel Streamy (Duval & al., 2012) donne à un élève la possibilité d’observer son niveau d’implication dans un cours en prenant en compte différents indicateurs comme le nombre de tweets en lien avec le cours, le nombre de liens fournis avec le cours, l’investissement du temps, les commentaires apportés aux informations fournies par les partenaires... Le point de vue métacognitif est obtenu à l’aide d’une jauge qui synthétise son niveau d’engagement dans la collaboration. Elle stimule l’apprenant à se questionner et à prendre du recul par rapport à son implication. Une aiguille orientée vers la gauche indique une collaboration restreinte alors qu’une aiguille orientée vers la droite montre un niveau élevé de collaboration.

Le statut métacognitif peut également faire référence à la moyenne des autres groupes dans l’environnement. Calvani & al. (2009) se sont appuyés sur ce principe de comparaison. Leur outil visualise l’activité collaborative au sein d’un forum de discussion. Il informe le groupe sur la qualité de ses interactions au travers d’une série d’indicateurs (degré d’assiduité, approfondissement de la discussion, réponses fournies, équilibre des échanges, types d’interventions, lecture réciproque, etc.) avec les moyennes des indicateurs des autres équipes collaboratives présentes dans l’environnement comme point de comparaison (v.diaporama du cours 3). Complémentairement au graphique, un tableau de type miroir signale également la présence d’apprenants qui adoptent au sein du groupe un comportement plus en retrait (nombre d’apprenants uniquement lecteurs : lurkers et nombre d’apprenants inactifs : inactive). Dans cette troisième phase, le contrôle est davantage partagé entre le système et l’utilisateur. Le système fournit en effet une indication relative par rapport à une norme avec laquelle l’utilisateur prend la décision de modifier le cas échéant son comportement.

4.3.3 Le niveau "guidance"

Le système peut également fournir de manière automatique une information explicite de type de guidance (Phase 4) qui passe alors par l’élaboration et par l’affichage d’une relance automatique à l’apprenant et associée à la visualisation (encourager la participation, suggérer l’usage d’outils, etc.). Pour Jermann & Dillenbourg (2008), le système doit alors interpréter les valeurs calibrées par comparaison avec un modèle de référence fixé au départ (Phase 3). À partir de ce traitement, le système prend la décision par rapport à la nécessité d’informer les individus en vue de réguler leur activité. Si l’on prend l’exemple de la voiture, le niveau de guidance peut être associé à un signal lumineux ou sonore qui informe d’un volume d’essence faible et qui rappelle au conducteur de s’approvisionner au plus vite. Intégré dans un contexte d’apprentissage collaboratif, l’outil d’assistance de Duolingo correspond à cette approche de guidance automatique. Sur la base d’une analyse de leurs activités, le système informe les apprenants de leur niveau d’engagement dans l'apprentissage. Par le biais d’un courriel, il délivre aux apprenants une notification automatisée intégrant des recommandations adaptées pour remédier à la situation problématique.

Au niveau psychomoteur, un exemple intéressant est proposée par l'outil Swimbot. Il est basé sur le principe de l'apprentissage profond . Le dispositif consiste à analyser l'activité des nageurs pour leur fournir un retour sur la qualité de leur nage en temps réel (position de la tête, mouvements des bras, des jambes, ...). Un signal sonore envoie l'information aux nageurs quand un mouvement n'est pas efficace. Le jeu consiste pour le nageur à supprimer ce bruit signe d'une correction nécessaire du geste. Au niveau de la course à pied, Moov propose un dispositif similaire pour améliorer sa démarche en fournissant un f-b par rapport au nombre de pas par foulée, à l'impact de votre corps sur le sol, ...

Ce dernier niveau peut être associé à la démarche d'adaptative learning qui consiste à tenir compte de l'activité antérieure des élèves pour leur proposer des tâches dans leur zone proximale de développement. Le site Tacit s'appuie sur ce système pour aider les élèves dans le développement de la compétence inférentielle en lecture. Le modèle statistique de réponse à l'item développé par les concepteurs de Tacit permet d'établir une correspondance précise entre le niveau de compétence d'un enfant et la difficulté relative des exercices. Le service Duolingo fonctionne sur le même principe d'adaptation aux apprenants. La programmation d'une séquence pédagogique devient alors rationnelle et individualisée. Elle permet de mettre en oeuvre un véritable apprentissage différencié. Dans la phase 4 du modèle de Jermann & Dillenbourg (2008), le contrôle est donc davantage entre les mains du système, car celui- ci génère des injonctions à l’utilisateur et peut même s’adapter automatiquement à son comportement antérieur.

Karsenti (2018) propose un système d'analyse de type adaptatif qui module les parcours d'apprentissage en fonction de leurs démarches antérieures.