On ne peut pas améliorer une situation sans évaluation de celle-ci. Pour évaluer les effets d’un environnement d’apprentissage dans un contexte particulier concernant des apprenants avec des caractéristiques initiales, un chercheur peut s’intéresser à différentes dimensions complémentaires. La figure ci-dessous schématise cette approche méthodologique. Elle articule les différentes observations à prendre en compte. Au total, on peut y distinguer trois sources d’observations distinctes : les produits de l’apprentissage, le processus d’apprentissage et les perceptions des acteurs. Sur le plan épistémologique, cette démarche d'évaluation de l'environnement a posteriori peut être considérée comme une triangulation des méthodes et des sources (Pourtois & Desmet, 2007). Cette approche découle de l'approche "processus-produit" qui au départ s'intéressait d'une part au comportement des enseignants en classe (processus) et d'autre part à l'apprentissage des élèves (produit) dans une perspective de recherche d'efficacité (Bressoux, 1994).
A celui-là s'ajoute le paradigme des processus médiateurs centrés sur l'élève. Les variations dans les résultats de l'apprentissage sont liées aux procédures intermédiaires de traitement de l'information que l’élève déploie lors de l'activité. Il nous semble utile d'associer à cette logique "l'avis des acteurs" (apprenants ou enseignants) afin de mieux comprendre l'expérience d'apprentissage mise en place (dimension perceptions).
Il est important de préciser que tout dispositif est développé et inséré dans un contexte particulier. Lors d'une démarche d'évaluation, le chercheur doit veiller à bien décrire et à caractériser celui-ci. Cela permet de décider par la suite si les résultats sont généralisables à d'autres contextes et de mieux documenter les méta-analyses (Hattie, 2009).
Ces différentes sources permettent d’interroger a posteriori l’environnement d’apprentissage mis en oeuvre. Ce questionnement correspond à une démarche de qualité dont l’objectif est l’amélioration continue du scénario pédagogique par un usage réfléchi des moyens humains et technologiques à disposition. Les réponses obtenues donnent alors la possibilité de réguler, le cas échéant, l’environnement développé. Cette régulation consiste à modifier en conséquence l’environnement d’apprentissage en opérant des ajustements dans le scénario pédagogique qui caractérise les modalités d’encadrement, les tâches, la constitution des groupes, la sélection des outils et le temps alloué. L'enseignant-concepteur peut s'appuyer sur plusieurs expériences successives pour aboutir à un environnement de qualité suffisante. Avec cette approche de rétro-ingénierie, l’enseignant peut mettre en évidence a posteriori le modèle efficace de la tâche. Il a alors la possibilité de reconsidérer le scénario en envisageant les améliorations utiles en matière de définition de la tâche, de choix d’outils, de modalités de constitution de groupes et de possibilités de suivi. Il augmente ainsi ses chances de développer un environnement d’apprentissage plus adapté, en mesure d’étayer la tâche des apprenants et de faciliter ainsi leur progression dans la maîtrise des compétences visées. Bien plus que les objets technologiques qui ne restent que des moyens, cette démarche itérative fondée sur l’analyse des traces constitue un puissant levier en mesure de faire la différence pour faire apprendre.
Le développement de cette approche s’est particulièrement accéléré avec l’émergence progressive du champ de recherche « Learning analytics » que Siemens & Long (2011, p.31) définissent comme « la mesure, la collection, l’analyse et l’interprétation des traces des apprenants et de leurs contextes, pour comprendre et optimiser leur apprentissage dans l’environnement dans lequel il se produit. » Dans le cadre fixé par le champ de recherche « learning analytics » (Buckingham, 2012), nous nous situons au niveau micro (v. figure ci-dessous). Notre préoccupation principale concerne en effet, l’activité de l’apprenant dans le contexte spécifique d’un cours. Le niveau méso concerne l’analyse des traces au sein d’une même institution et le niveau macro fait référence à un terrain d’investigation à une plus large échelle comme un système éducatif. Comme le suggère la figure ci-dessous, les données recueillies au niveau micro sont susceptibles d’alimenter les analyses menées aux niveaux supérieurs, et inversement.