Para proporcionar a los usuarios la sensación de realismo al utilizar los dispositivos de realidad virtual, se requieren una serie de técnicas como el seguimiento de cabeza, de movimiento y ocular. De igual forma los mandos forman parte importante de la experiencia pues, al contar con vibración conectan al usuario con las acciones que realiza en la pantalla.
El seguimiento de cabeza permite a una aplicación reconocer los movimientos de cabeza del usuario, y realizar un desplazamiento de la imagen cuando este mueve la cabeza en cualquier dirección. Para realizar este seguimiento se utilizan unos acelerómetros, giroscopios y magnetómetros incorporados en los HMDs. Además, cada compañía utiliza una técnica propia para determinar la posición de la cabeza.
El Oculus Rift utiliza su propio sistema de posicionamiento llamado Constellation. Consiste en un conjunto de veinte ledes infrarrojos colocadas alrededor del casco formando un patrón reconocible y un sensor. El sensor va captando fotogramas y analizando la posición de todos los ledes, permitiendo así el seguimiento.
Algo parecido es lo que usa PlayStation VR, excepto que son solo nueve ledes. La desventaja del PSVR es que ha de ajustarse con la cámara cada vez que una persona de diferente estatura (por ejemplo) lo utiliza. Además, la PlayStation Camera, necesaria para poderlo utilizar, ha de estar bastante cerca del usuario para funcionar bien. De hecho, Sony recomienda que se utilice el PSVR sentado, a aproximadamente 1.5 metros de la cámara y con espacio suficiente para realizar algunos movimientos ligeros. De hecho, a partir de esta distancia el rendimiento disminuye, y Sony no garantiza que la cámara detecte correctamente el movimiento a partir de los 9.8 pies (unos 3 metros).
El método que utiliza las Vive es bastante más novedoso. Se trata de un sistema de seguimiento llamado Lighthouse, desarrollado por HTC y Valve. No requiere de ninguna cámara, y el HMD no emite luz. El sistema consiste en dos cajas que se colocan en la pared con un ángulo de 90º, estas cajas contienen unos ledes y dos emisores de láseres, uno horizontal y uno vertical. Por otro lado, el HMD y los dos mandos (son necesarios dos para poder determinar la posición de ambas manos y brazos) disponen de sensores que captan la luz y los láseres emitidos por las cajas que se sitúan en las paredes de la habitación. Los ledes se iluminan y los dispositivos receptores empiezan a contar. Uno de los dos láseres emite un barrido por toda la sala. Los dispositivos detectan que sensores han sido alcanzados por el barrido y cuánto tiempo ha pasado desde el flash de los ledes y utilizan esta información para calcular su posición respecto a las cajas. Al acercarte demasiado a un muro, una cuadrícula translúcida aparece avisando de que estás cerca de una pared real. Todo esto con un jitter (la imprecisión de las mediciones cuando el objeto está inmóvil) de tan solo 0.3 mm.
El seguimiento o rastreo de movimiento es una extensión del seguimiento de cabeza, pero permitiendo reconocer otro tipo de movimientos, como el de las extremidades. Este terreno no está tan avanzado como el anterior aunque las grandes compañías están enfocando su interés en él.
Aparte del prometedor y ya mencionado Lighthouse de Valve existen otras opciones, por ejemplo el Leap Motion Orion. Este es un sistema extremadamente preciso de seguimiento de las manos. Detecta todos los movimientos de los dedos y las articulaciones incluso sobre entornos difusos y con niveles variables de luz, aunque tiene algunas desventajas, como el hecho de que has de estar mirando tus manos para que el sistema las detecte. Otro problema, no exclusivo de Orion, es la falta de algo tangible en las manos. En la vida real, cuando se entra en contacto con algo, el sentido del tacto se activa y se siente ese algo. En la realidad virtual en cambio, las manos están vacías y por tanto no se tiene forma de saber si se está sujetando el objeto de la manera que se quiere, o la fuerza que se está aplicando sobre él. Los desarrolladores están intentando suplir esta falta de respuesta táctil mediante señales auditivas que indiquen cuándo y cómo se entra en contacto con un objeto, pero la sensación no es la misma.
La alternativa de Oculus es Touch, un sistema de control que consiste en dos mandos empuñados y con una correa de sujeción para la muñeca, con los que se hace sentir al usuario que está usando sus propias manos. Cada uno de estos dos controles tiene forma de medialuna y dispone de dos botones, un mando analógico y un gatillo analógico, además de un mecanismo denominado disparador de mano, que replica la sensación de disparar un arma. Touch también hace uso del sistema de posicionamiento Constellation y a diferencia del Orion de Leap Motion, sí que dispone de respuesta táctil. Los mandos además disponen de unos sensores que permiten detectar una serie de gestos con las manos, como cerrar el puño, señalar con el índice o alzar el pulgar. La desventaja de Touch respecto a Orion es que, a pesar de ser muy avanzado, no deja de ser un mando y por tanto queda lejos de la libertad de movimiento que ofrece este último.
También cabe destacar la contribución de la empresa española NeuroDigital Technologies con su GloveOne. Es un guante que pretende dar al usuario ese feedback táctil tan deseado. Actualmente no dispone de sistema de seguimiento, así que se vale de un Leap Motion para ello, pero permite al usuario percibir el peso, la forma, el volumen y la textura de los objetos con los que interactúa. Para ello se vale de unos sensores situados cerca del pulgar, índice y los dedos centrales, además de la palma de la mano. Además, contiene 10 actuadores distribuidos entre la palma y las puntas de los dedos. Cada uno de ellos vibra de manera individual, con distintas frecuencias e intensidades, reproduciendo de manera precisa las sensaciones del tacto.
Existen otros sistemas de rastreo de movimiento, como trajes, controles por voz o incluso cintas de correr como Virtuix Omni, que permiten al usuario explorar grandes distancias caminando (o corriendo).
Se trata de una tecnología que las principales compañías no han incorporado aún, pero que está presente en el HMD FOVE VR. Este casco de realidad virtual incorpora unos sensores infrarrojos interiores que captan los movimientos del ojo. Esto permite un abanico de opciones que van desde replicar los movimientos de tus ojos en tu avatar virtual, hasta provocar reacciones de otros personajes según la manera en la que los miras. Lo que es más impresionante es el realismo que ofrece el seguimiento ocular.
En la vida real, los ojos tienen un punto de enfoque central, mientras que el resto está desenfocado. Esto es muy difícil de replicar, lo que provoca un exceso de enfoque en los sistemas de otras compañías, que reduce la sensación de inmersión. El seguimiento ocular soluciona este problema, permitiendo enfocar solo aquello que el usuario está observando. Además, podría dar lugar a hipotéticas optimizaciones: la aplicación podría utilizar sus recursos en un renderizado de alta calidad de los objetos que están en el campo de visión del usuario, aplicando pocos recursos para todo aquello que está desenfocado en ese momento. Esta tecnología requiere no obstante de pantallas de alta resolución, ya que el punto enfocado por el usuario debería ser lo más realista posible. El exceso de enfoque de los otros sistemas puede producir mareo por movimiento, algo que el seguimiento ocular también podría evitar.