Récupération des sources de l'application 3D à cette adresse :
Présentation du contexte et des objectifs :
démonstration de l'environnement 3D de départ et des différents moyens d'interagir pour naviguer dans cet environnement
installation et prise en main des environnements de développement (Eclipse + API 3D + API Bluetooth)
Présentation de la méthodologie à mettre en place pour les évaluations :
détermination de ce qu'il faut évaluer de façon objective : temps, précision, distance parcourue, distance angulaire, nombre d'erreurs de cibles...
on pourrait en imaginer d'autres si on avait les capteurs adéquats : attention, fatigue, pulsations cardiaques, sudation, ...
détermination de ce qu'il faut évaluer de façon subjective : fatigue, facilité, naturalité, intuitivité, efficacité, ...
établir un questionnaire à partir de quelques exemples d'articles de recherche du domaine de l'évaluation d'interaction
Mise en place d'un plan d'expérimentation :
choix des méthodes à comparer :
pas forcément tout comparer car c'est trop long
pas forcément comparer les mêmes méthodes pour tous de façon à avoir des complémentarités entre études
ici on se placera dans le cas où les participants testent toutes les techniques
déterminer l'ordre dans lequel faire passer les évaluations pour limiter/contrôler le biais dû à l'apprentissage
il faut contrebalancer les ordres d'utilisation des techniques à comparer
déterminer la nature des informations à enregistrer lors des expérimentations en vue de leur analyse postérieure
le code fourni mesure : temps, précision, distance parcourue, distance angulaire
Réalisation des évaluations
faire passer un nombre minimal de volontaires, a priori ne participant pas à l'UE
compléter avec les collègues participants à l'UE pour arriver au moins à 10 ou 12 participants
recueillir les résultats (a priori dans des tableaux excel)
pour chaque évaluation :
accueillir le participant et bien lui expliquer ce qu'on va faire
on peut éventuellement lui faire remplir un premier questionnaire si besoin
choisir la technique par laquelle on va commencer les tests
faire découvrir au participant l'environnement de test avec une trajectoire destinée à l'apprentissage en utilisant la première technique à expérimenter
faire passer l'expérimentation avec la première technique (a priori avec 3 trajectoires : facile / moyenne / difficile)
refaire découvrir l'environnement de test avec la trajectoire destinée à l'apprentissage en utilisant cette fois la seconde technique à expérimenter
faire passer l'expérimentation avec la seconde technique
si plus de 2 techniques à comparer, procéder de même avec les autres techniques
faire remplir un questionnaire à la fin
Exploitation (statistique) des résultats et discussions sur les techniques comparées
essayer de déterminer ce qui fonctionne le mieux, et pourquoi
discuter si les techniques ont un effet sur les données recueillies (temps, distance, facilité d'usage, ...)
Déroulement effectif de l'UV :
Lundi
Présentation rapide du contexte et des objectifs
Récupération des sources de l'application 3D
Installation sur les machines de TP ou sur les ordinateurs individuels (avec les librairies adéquates)
Premiers tests de l'application avec clavier/souris et wiimotes
Personnalisation des techniques de navigation
Mardi
Finalisation des techniques d'interactions
Réalisation de pré-tests pour valider mesures
Mercredi matin
Ergonomie et statistiques
Mercredi après-midi
Réflexions sur la méthodologie à mettre en place pour les expérimentations
Combien de méthodes de navigation comparer ?
Combien de "circuits" utiliser, et quels niveaux de difficulté pour ces circuits ?
Dans quel ordre faire passer les expérimentations pour minimiser les biais d'apprentissage ?
Quels critères prendre en compte pour l'évaluation ?
Objectifs :
le temps nécessaire pour réaliser le parcours
la "précision" -> calculée à partir des distances entre le centre des cibles et le point de passage de l'utilisateur dans la cible
le nombre d'erreurs réalisées lors d'un parcours
la distance totale du parcours
la distance angulaire totale du parcours
d'autres choses mesurables...
Remarque : vous pouvez indiquer tout ce qu'il vous semblerait pertinent de mesurer sans pour autant avoir le temps de mettre en place le moyen de le mesurer, il faut juste le signaler comme piste intéressante de mesure dans le rapport...
Subjectifs :
est-ce que la technique utilisée est :
facile
fatigante
naturelle / intuitive
efficace
globalement appréciée
comment mesurer ces valeurs subjectives ?
utiliser une échelle de Likert : https://fr.wikipedia.org/wiki/%C3%89chelle_de_Likert
exemple d'utilisation et d'exploitation d'un tel questionnaire : https://hal-institut-mines-telecom.archives-ouvertes.fr/hal-01083215/document
Validations questionnaires en lien avec Nantes
Jeudi
Réalisation des évaluations
Vendredi
Analyse statistique des résultats et discussion à propos des conclusions qu'il est possible d'en tirer