A Assistência Remota com Realidade Mista (ARRM) parte do princípio que uma determinada pessoa com o conhecimento especializado para realizar determinada tarefa não está presente no local, e a sua deslocação ao mesmo é bastante onerosa. Assim surge a necessidade de transmitir informação/conhecimento de forma remota e nesse caso teremos de contemplar dois tipos de utilizadores:

• O utilizador que está presente no local onde se pretende que determinada tarefa seja concretizada, mas para a qual não possui o conhecimento específico necessário para a realizar, é chamado o Técnico;
• O utilizador que não se encontra presente no local, mas que possuí conhecimentos especializados para completar a tarefa em causa e é capaz de diagnosticar o problema, aconselhar e recomendar instruções ao Técnico e este utilizador é designado por Especialista.

O sistema ARRM consiste num conjunto de funcionalidades que o Especialista e o Técnico

podem utilizar para a resolução de problemas de forma remota. O sistema desenvolvido permite que um Técnico coloque um capacete de

Realidade Mista (Microsoft Hololens) para visualizar o equipamento com problemas, de seguida transmite em streaming o vídeo dessa visualização, e finalmente recebe instruções no seu campo de visão de as indicações do Especialista (que usa uma aplicação a correr num PC ou tablet).

A partilha da visualização e dos conteúdos permite que o técnico e o especialista comuniquem eficientemente de um modo não verbal, permitindo realçar os componentes críticos e as áreas onde o Técnico se deve focar de modo intuitivo e claro. O especialista pode escolher entre uma seleção de componentes predefinidos, inserir modelos 3D e texto, com suporte para animações e a edição das características básicas de cada componente dos equipamentos. Os modelos 3D podem ser manipulados e visualizados e ajudam na melhor compreensão das tarefas de assistência.