Les entretiens

Lors de notre projet, nous avons réalisé quatre entretiens avec notre expert, chaque entretien étant plus directif que le précédent grâce à l'analyse de ce dernier qui à chaque fois avait précisé nos règles et nos connaissances.

A chaque fois, nous avons favorisé des supports visuels et interactifs (notamment grâce au plateau de jeu), des pauses et des questions bien posées, banni les écrans d'ordinateurs en face à face, dans l'objectif d'optimiser et faciliter la restitution du savoir par l'expert.

A partir du second entretien, nous avons convenu de réaliser les entretiens à 3 personnes, en général avec 2 meneurs et 1 secrétaire, placé à l'écart, qui note les réponses sur ordinateur pour permettre un traitement plus rapide des informations. Chaque entretien a été enregistré en audio et aussi en photos pour les situations sur plateau de jeu, mais les derniers étant plutôt directifs, ou nécessitant plus que de l'audio, les enregistrements n'ont été que partiellement exploités après le premier.

ENTRETIEN 1 (21/11/2018)

Le premier entretien s'est déroulé au début du projet et nous étions tous présents, il nous a tout d'abord permis de rencontrer l'expert en présence de notre client et d'en apprendre plus sur le jeu des Aventuriers du Rail. Le but de cet entretien semi-directif était de lui présenter notre projet, de lui poser des questions générales sur la scène compétitive et sur sa façon de jouer (voir fiche entretien ci-dessous) : choisir les cartes Destination, piocher face cachée ou face visible les cartes Wagon, quand poser les wagons et de savoir comment la partie se déroule, avec des phases de jeu ou non. En l'observant jouer deux parties contre des adversaires en ligne d'un classement similaire, nous avons réalisé qu'il fallait un bon nombre de parties pour pouvoir généraliser ces exemples, et que l'observation serait compliquée à enregistrer et exploiter efficacement.

Enregistré en audio entièrement, nous avons pris beaucoup de soin à analyser cet entretien car il était très riche en nouvelles règles difficiles à comprendre pour nous, donc à formaliser. Nous avons ainsi pu rédiger un premier set de règles, c'est à dire ordonner les différentes "règles à suivre" pour gagner selon l'expert et préciser qu'une partie était séparée en 5 phases de jeu.

ENTRETIEN 2 (10/12/2018)

Les objectifs ce deuxième entretien étaient de préciser et étoffer notre premier set de règles par l'observation de notre expert en jeu contre des adversaires de son niveau mais aussi contre l'IA de la version Steam.

Nous avons compris lors de cet entretien que l'IA mise en place sur cette version des Aventuriers du Rail en ligne n'était pas très performante et perdait très souvent contre un joueur du niveau de notre expert

Nous lui avons aussi présenté les 30 cartes objectifs afin qu'il les classe selon ses préférences c'est-à-dire les objectifs qu'il garde sans hésiter ("très bien") et ceux qu'il ne garde jamais ("très nul") sur une échelle à 5 valeurs.

Ce classement manuel des objectifs a permis de les séparer en 5 catégories comme présenté dans le tableau ci-contre, qui par la suite s'est révélé très pertinent dans notre algorithme de choix des destinations.

ENTRETIEN 3 (14/02/2019)

Lors de ce troisième entretien, assez directif, nous souhaitions confirmer le classement fait par notre expert lors de l'entretien précédent ainsi qu'étoffer et préciser notre synthèse de règles, notamment dans le choix des objectifs et le calcul d'itinéraire.

Pour ce faire, nous avons modélisé les objectifs comme séparés en 6 catégories en fonction de la zone du plateau qu'ils traversent : Horizontale Nord, Horizontale Centre, Horizontale sud, Verticale Ouest, Verticale Centre, Verticale Est, puis nous avons demandé à l'expert quelles paires étaient à privilégier ou non avec le même échelle que pour l'entretien 2. Nous n'avons demandé que des paires d'objectifs car il avait été établi que choisir seulement 2 objectifs est très souvent la meilleure option.

En combinant ce classement de paires avec celui des objectifs individuels nous avons conçu un algorithme permettant de choisir les 2 objectifs à garder en début de partie après en avoir piocher 3. L'analyse de l'entretien a permis la version 2 de la synthèse des règles.

ENTRETIEN 4 (20/04/2019)

Cet entretien a été conçu pour tester l'algorithme codé après l'entretien 3 sur deux aspects : la conformité du choix des objectifs par rapport au choix de l'expert, et la qualité des itinéraires calculés. Il s'est déroulé en 3 phases :

Phase 1 : Test du choix des objectifs

Le protocole était le suivant :

Remélanger les cartes précédentes dans la pioche à chaque itération.

Répéter n fois :

L’expert tire 3 cartes objectifs au hasard
le secrétaire rentre les 3 objectifs et fait tourner le programme
On le laisse en choisir 2, il dit son résultat
le secrétaire note le choix de l’expert dans le sheet
le secrétaire note le choix du programme SANS LE DEVOILER A L’EXPERT

Nous nous sommes arrêtés sur répétition à n=28, déterminé par rapport à la fatigue de l'expert et avec un minimum prévu de 25.

Partie 2 : Evaluation de l'itinéraire optimal calculé

Après lui avoir expliqué que le but était ici d'uniquement relier les 4 villes (2 destinations) choisies avec le meilleur chemin (car cette version du programme ne prolongeait pas son chemin après avoir relié les objectifs), voici le protocole réalisé :

L'expert pioche 3 cartes objectifs et annonce celles qu'il veut choisir
Cette fois, on lui annonce le choix de l'algorithme
Avec les objectifs choisis par l'algorithme, on demande à l'expert de poser sur le plateau le chemin optimal qu'il considère en début de partie
On pose avec des wagons d'une autre couleur le chemin optimal suggéré par notre algorithme
L'expert note le chemin sur 5 que nous avons posé et nous explique sa note
On note le nombre de tronçons en commun et le nombre de tronçons total du chemin de l'algorithme
On remet dans la pioche les objectifs

Nous avons répété ce protocole 10 fois, sans noter le choix d'objectifs sur les deux premières itérations par erreur, permettant un échantillon total de 36 choix d'objectifs et 10 calculs de chemin.

Phase 3 : Partie jouée entre l'expert et l'étudiant aidé de l'algorithme

Cette phase là était surtout prévue pour s'amuser et montrer à l'expert notre programme. Sur une partie, aucune donnée significative ne pouvait sortir mais l'expert s'est dit impressionné de l'amélioration que répresente notre système expert par rapport à l'IA pré-existante. Cela nous a permis de remarquer que le re-calcul d'itinéraire après un blocage donnait des résultants peu satisfaisants sur cette version.

Nous avons ainsi obtenus des résultats très intéressants qui ont permis une meilleure version du programme et sont présentés en détail dans l'onglet Tests.

Report abuse