Houdoyer E., Berberian B., Le Bars* S. & Chambon V.* Aligning Minds and Machines: Hierarchical Explanations Enhance Sense of Agency in AI-Assisted Decision-Making. *co-senior authors
Summary
Over the past decades, the rise of Artificial Intelligence (AI) has profoundly reshaped daily life, notably through the intelligent automation of processes such as driving, cooking, manufacturing, and medical assistance. This growing automation brings clear benefits for human safety and industrial productivity. However, one may legitimately question whether users still feel in control and responsible for actions and outcomes that are largely executed—or even decided—by machines and systems. The increasing interposition of AI between human agents and control processes raises critical issues concerning individuals’ sense of agency (SoA) in highly automated societies. SoA is essential not only for user experience and system acceptability, but also for understanding the ethical and cognitive implications of its potential disruption. To date, there are no established guidelines or frameworks dedicated to developing AI and autonomous systems that preserve human agency. This research project aims to systematically explore ways to restore the sense of agency in operators interacting with AI systems in naturalistic, everyday contexts. Our objective is twofold. First, through a human-centered approach, we will study how the explicability of AI parameters and decisions—within the explainable AI (XAI) framework—can be optimized to enhance users’ sense of agency, using ecologically valid human–machine interaction (HMI) experiments. Second, we will seek to extract new metrics and proxies of agency to provide objective, context-adapted measures for monitoring users’ agency in autonomous driving scenarios. By implementing a well-documented hierarchical model of intentions and the action co-representation theory within the XAI framework, we expect HMI systems to better approximate naturalistic human joint action, thereby improving users’ sense of agency.
Résumé
L’essor de l’intelligence artificielle (IA) a profondément transformé notre quotidien, notamment à travers l’automatisation d’un nombre croissant d’activités telles que la conduite, la cuisine ou la fabrication industrielle. Cette progression continue de l’automatisation présente des avantages évidents en matière de sécurité humaine et de productivité. Néanmoins, on peut légitimement s’interroger sur le degré de maîtrise et de responsabilité que conservent les utilisateurs face à des actions et résultats désormais largement exécutés – voire décidés – par des machines. L’interposition de systèmes d’IA entre les utilisateurs et les processus de contrôle soulève d’importantes questions quant au sentiment d’agentivité (SA) des individus dans une société de plus en plus automatisée. Le SA constitue un processus essentiel, non seulement pour l’expérience utilisateur et l’acceptabilité des systèmes, mais aussi au regard des implications éthiques et cognitives liées à son altération. À notre connaissance, il n’existe actuellement aucune directive ni cadre spécifique orienté vers le développement de systèmes autonomes respectueux de l’agentivité humaine. Ce projet de recherche vise à explorer, de manière systématique, les moyens de restaurer le SA chez les opérateurs interagissant avec des systèmes d’IA dans des contextes proches de la vie quotidienne. Notre objectif est double. Premièrement, à travers une approche centrée sur l’utilisateur, nous étudierons comment l’explicabilité des actions et décisions de l’IA (XAI) peut être optimisée afin d’améliorer le SA des agents humains, en recourant à des paradigmes expérimentaux écologiques simulant des situations de conduite autonome. Deuxièmement, nous chercherons à identifier de nouveaux marqueurs physiologiques d’agentivité permettant d’obtenir des mesures objectives applicables à des interactions complexes et continues telles que la conduite autonome. En intégrant le modèle hiérarchique des intentions et la théorie de la co-représentation de l’action dans le cadre de l’IA explicable, nous postulons que l’interaction homme-machine pourrait se rapprocher d’une action conjointe naturaliste, favorisant ainsi le renforcement du SA des utilisateurs.
Résumé
Solène Le Bars
Eléonore Houdoyer
Emilien Bonhomme
Bruno Berberian