Les tests

Sur la fin de ce projet, nous avons réalisé trois tests différents, dont deux lors de l'entretien 4, dans l'objectif obtenir des résultats d'efficacité de notre outil et d'identifier des pistes d'amélioration.

Les tests de l'entretien 4 ont été effectués sur la version "fonction prolongeCheminOptimal" du programme, consultable ici : https://github.com/guiguite38/TransDi-Aventuriers-Du-Rail/commit/f09755e4229aee894e987173336c17c35f339920 .

TEST DES RÈGLES PRINCIPALES

Objectifs

Ce test a été réalisé le 16/04/2019, avec pour objectif principal d'évaluer l'efficacité de notre outil, qui prenait alors la forme du programme de choix des objectifs et d'un résumé simpliste des règles les plus simples de notre synthèse, pour rendre le test accessible aux débutants. Le protocole est expliqué dans le document ci-dessous.

Fiche de test

Résultats

Cette session de test, bien que les parties se soient déroulées assez rapidement, a eu très peu de joueurs : 3 parties ont été jouées, un minimum de 6 étaient prévues. Nous observons ainsi dans le tableau ci-dessous des résultats peu significatifs avec des scores très sérrés, ne permettant pas de conclure sur l'objectif principal initialement prévu.

Le résultat le plus intéressant de ce test est que les joueurs, tous débutants, n'ont pas suivi beaucoup des règles de notre outil. Après en avoir discuté avec les joueurs, nous avons conclu qu'un joueur a peu envie de suivre une règle qu'il ne comprend pas et lui paraît contre-intuitive. Ainsi, il est probable qu'un outil d'aide à la décision sur ce jeu soit plus efficace s'il peut expliquer les décisions qu'il prend et les règles qu'il suit.

CONFORMITÉ DU CHOIX DES OBJECTIFS

Ce test a été réalisé lors de l'entretien 4 et ses objectifs ainsi que son protocole sont détaillés dans l'onglet Les entretiens.

Résultats

Sur 36 triplettes d'objectifs piochées au hasard, le programme a fait un choix exactement identique à celui de l'expert dans 67,57% des cas.

Dans 72,97% des situations, le choix du programme contenait 2 objectifs en commun avec le choix de l'expert; cela inclut les cas où l'expert a choisi les 3 objectifs.

Ces résultats ne permettent pas de conclure quant à l'efficacité du programme mais permettent de voir que les règles de l'expert ont été formalisées convenablement, avec plusieurs cas mal traités cependant.

ÉVALUATION DE L’ITINÉRAIRE OPTIMAL CALCULÉ

Ce test a aussi été réalisé lors de l'entretien 4 et ses objectifs ainsi que son protocole sont détaillés dans l'onglet Les entretiens.

Résultats

Sur un échantillon de 10 paires d'objectifs à relier, le chemin calculé par l'algorithme avait en moyenne 57,2% de ses tronçons en commun avec le chemin calculé par l'expert.

Ces 10 chemins ont été évalués par l'expert avec une note moyenne sur 5 de 4,15; un écart-type de 1,11 et une note médiane et de 4.

Il y a bien une note de 6 sur 5 que nous avons acceptée car l'expert a évalué notre chemin comme meilleur que le sien. Nous remarquerons que ces deux données ont une pertinence limitée, mais nous n'avons pas trouvé d'autres métriques.

Report abuse