Innovación y Colaboración en Interfaces Multitáctiles

Master in Computer Science
 
Contact:
 

Introducción

La innovación es un proceso muy importante para el desarrollo del país. La introducción de nuevas tecnologías como apoyo a los procesos de innovación ayuda a facilitar las actividades de los grupos innovadores al momento de generar ideas. El objetivo central de este proyecto es aprovechar el potencial de las superficies interactivas y plantear un conjunto de elementos gráficos y un modelo de ademanes en apoyo a los procesos de innovación.

Se pretende desarrollar una aplicación que demuestre la utilidad de los elementos gráficos y del modelo de ademanes. Con ello se apoyará a la generación de ideas como parte fundamental del proceso de innovación, con base en los parámetros establecidos por una metodología de Innovación.

Para evaluar la funcionalidad de la propuesta se realizarán pruebas de usabilidad a grupos de innovación, se plantearán escenarios y se medirá la experiencia de uso en cada fase del proyecto. Mediante métodos de evaluación, se refinarán y desarrollaran componentes en las diferentes fases de una arquitectura.

Las interfaces multitáctiles son una tecnología computacional que permite registrar simultáneamente dos o más puntos de contacto con diversas posiciones en una pantalla. Este tipo de tecnologías se posicionan como una fase evolutiva en cómputo e interfaces de usuario [Seow et al. 2009].  A la forma más básica de interacción con este tipo de interfaces se le conoce como "toque", el cual se refiere a un punto de contacto de un dedo con la superficie. Este toque es algunas veces más natural, atractivo y conveniente que usar un mouse, un teclado o una pluma.

Los ademanes permiten realizar múltiples toques de interacción. Un ademán es el movimiento de uno o más dedos sobre la pantalla que la computadora interpreta como comandos, y no como un movimiento del ratón, escritura o dibujo. Uno de los ademanes más rápidos y fáciles de realizar es el “flick”, el cual es un ademán sencillo para navegación o para comandos de edición. Ejemplos de flicks de navegación incluyen arrastrar hacia arriba, arrastrar hacia abajo, retroceder y avanzar, mientras que en los flicks de edición se incluyen copiar, pegar, deshacer y eliminar.[1]

El reconocimiento de ademanes tiene como objetivo interpretar ademanes humanos a través de algoritmos matemáticos. En interacción humano-computadora el término ademán se refiere a una gama de diferentes estilos de interacción, muchas de las cuales tienen poco o nada en común con ademanes observados en la comunicación humana. A partir de los 80s los ademanes con las manos han sido empleados en las interfaces prototípicas con el objetivo de interactuar con el equipo de cómputo de manera más natural. [Sowa, T. 2008].

Cabe mencionar que la innovación y la colaboración para el desarrollo de este proyecto juegan un papel muy importante. La Real Academia Española define a la innovación como la creación o modificación de un producto y su introducción en el mercado; y a la colaboración como el hecho de trabajar con otra u otras personas en la realización de una obra.

La organización del presente documento está dada de la siguiente manera: Primero se presenta la investigación y trabajos relacionados a este proyecto. En seguida se define el problema de investigación, sus objetivos general y específicos. A continuación se describe la metodología que se seguirá para el desarrollo la investigación. Después en el plan de evaluación del proyecto se mencionan las pruebas que se desarrollarán para comprobar la su viabilidad. Luego se muestran los alcances y las áreas de oportunidad para futuros desarrollos, el plan de trabajo, las referencias y finalmente el calendario de actividades a realizar durante este proceso.

Ademanes e interfaces multitáctiles

Algunos ejemplos del desarrollo en curso con respecto a la colaboración haciendo uso de dispositivos multitáctiles pueden observarse en [Nacenta et al. 2007] quien desarrolla un marco de trabajo que diferencia varias técnicas de interacción y un estudio exploratorio que provee evidencia de cómo estas técnicas cambian la coordinación y la colaboración entre un grupo de trabajo mientras realizan tareas en una mesa interactiva.  [Cheng et al. 2009] presentan un estudio para investigar la potencialidad de usar una mesa multitáctil en apoyo a la interacción y colaborativa durante las actividades de aprendizaje.

[Harris et al. 2009] Realizan un estudio en un salón de clases para investigar el uso potencial de una mesa con tecnología táctil para apoyar el aprendizaje colaborativo en niños. Los resultados muestran que las condiciones de usar el touch no afectan la frecuencia o interacciones equitativas, pero si influencía la naturalidad  de la discusión entre los niños. Los niños incluso platican más acerca de la tarea a realizar.

 [Jordà et al. 2010] proveen de algunos enfoques para desarrollar aplicaciones en superficies interactivas. [Khaled et al. 2009] presentan observaciones de un juego colaborativo sobre una mesa multitáctil prestando atención en el ambiente físico-social y sus problemas técnicos. [Peltonen et al. 2008] observan las formas de interacción de las personas que interactuaban con una superficie vertical multitáctil ubicada en las calles de una ciudad.  [Tang et al. 2006] estudian las consecuencias del trabajo en equipo e individual sobre una mesa multáctil. Tales ejemplos abordan el uso de pantallas multitáctiles por varios usuarios al momento de ejecutar tareas compartidas.

En cuanto a cuestiones de usabilidad en este tipo de dispositivos, pueden encontrarse trabajos como los de [Ryall et al. 2006], quienes realizan observaciones de experiencias de usuarios trabajando de manera solitaria en mesas interactivas en cuatro diferentes contextos del mundo real, todos ellos en ambientes no controlados. [North et al. 2009] hablan sobre la factibilidad de algunos modelos multitáctiles y el comportamiento de los usuarios con respecto a los mismos. [Benko et al. 2006] presentan un conjunto de cinco técnicas que ayudan a los usuarios durante la selección de elementos muy pequeños durante el uso de  dispositivos multitáctiles.

Respecto del uso de ademanes [Fiebrink et al. 2009] evalúan la posibilidad de combinar ademanes multitáctiles con otros marcadores (i.e. plumas, borradores, otras partes del cuerpo, etc.). Según [Nacenta et al. 2007] y [Nacenta et al. 2009] dado que las interfaces multitáctiles asemejan la manera en que las personas manipulan objetos físicos, éstas pueden llevar a desarrollar interacciones más naturales. Las técnicas de interacción que se utilizan para trabajo de quipo en una mesa (como las de un pantógrafo) pueden afectar la forma en que la gente colabora, por lo que se hace difícil para los diseñadores elegir las técnicas adecuadas de trabajo en equipo para la construcción de la mesa. Para ello se llevó a cabo un estudio exploratorio para determinar cómo los diferentes tipos de técnicas de interacción afectan la coordinación y desempeño en dos tareas en una mesa. Los resultados obtenidos fueron que la elección de la técnica de interacción afecta significativamente la coordinación y el rendimiento.

Se han diseñado algunos modelos de ademanes para interfaces multitáctiles los cuales pueden ser mejorados de manera que sean más eficientes para que permitan a los usuarios manipular las interfaces con diversos grados de libertad simultáneamente.  [Nielsen et al. 2003] muestra problemas importantes con la comunicación mediante ademanes debido a su complejidad tecnológica, tasa de aprendizaje, aspectos intuitivos y ergonómicos, desde los puntos de vista técnicos y del usuario. [Lepinski et al. 2010] investigan las capacidades humanas para desarrollar un modelo de ademanes que evalúen la viabilidad del uso de menús multitáctiles en el mercado.

[Wobbrock et al. 2009] en su investigación obtiene un modelo de 25 ademanes como resultado de registrar 1080 formas distintas de realizar un ejercicio. El estudio se aplicó a 20 personas ajenas al área de superficies multitáctiles y se llevaron a cabo 27 tareas distintas, usando 1 y 2 manos. Como parte de sus resultados encuentran importante la interfaz gráfica de usuario para realizar ciertas actividades. Su estudio se enfoca en las probabilidades de que un ademán pueda ser desarrollado de manera natural por un usuario, dejando como trabajo a futuro el estudio de la probabilidad de que esos ademanes sean bien reconocidos (detectados) por el dispositivo.

[Morris et al. 2010] obtienen un conjunto de 22 ademanes seleccionados por los usuarios debido a su sencillez y encontraron la preferencia de los usuarios hacia los modelos de ademanes propuestos por los usuarios finales y por aquellos que son diseñados por varios investigadores en IHC.

Finalmente se está trabajando con Neuerung[2] y SIPI[3], los cuales son proyectos colaborativos sobre pantallas multitáctiles y otras tecnologías que tienen como finalidad impulsar la innovación en equipos y organizaciones. En estos proyectos se incluyen lenguajes de ademanes, mecanismos de reconocimiento de voz y manipulación y asociación de textos, así como flujos de trabajo para metodologías de innovación.

La Figura1. muestra un desglose del tema de superficies multitáctiles en la que se especifica el área de estudio particular.

Figura1. Interfaces multitáctiles y sus áreas de estudio.


En la Tabla1 se muestra una comparación entre los enfoques de algunos de los artículos que plantean estudios a modelos de ademanes.


           Tabla1: Comparativo de trabajo relacionado.


Definición del problema

En [Seow et al. 2009] se definieron algunas líneas de investigación que permiten ubicar las necesidades de desarrollo de esta área. Por mencionar algunas están:

·         Colaboración: ¿Cómo diseñar interfaces multitáctiles que permitan colaborar eficientemente?

·         Usabilidad: ¿Cómo mejorar la usabilidad de ciertos modelos de ademanes tomando en cuenta aspectos cognitivos y ergonómicos?

·         Ademanes multitáctiles: ¿Qué nuevos modelos de ademanes intuitivos pueden proponerse y bajo qué formatos?

Según el artículo de Nielsen Norman group (One step forward, two steps back)[4] la demanda de desarrollar ademanes o interfaces naturales bien probados y comprendidos como estándares de interacción ha sido eliminada, ignorada y violada, lo que trae como resultado un desastre de usabilidad en las interfaces tangibles.

Es necesario evaluar los beneficios o carencias de los modelos de ademanes multitáctiles en términos de la naturalidad de uso, colaboración y ergonomía. Acorde con ello se plantean las siguientes preguntas:

·         ¿Cuál ha sido la tendencia de ademanes naturales en los dispositivos multitáctiles?

·         ¿En qué grado han sido naturales los modelos de ademanes de los dispositivos multitáctiles?

·         ¿Cuáles son las implicaciones de que los ademanes e interfaces gráficas multitáctiles no sean sencillos para el usuario?

 El desarrollo de un modelo de ademanes multitáctiles requiere la evaluación o comparación con otros modelos existentes.

Con base en lo anterior se asevera que los usuarios tienen aún la dificultad de usar los ademanes y elementos gráficos de usuario de dispositivos multitáctiles de manera natural y colaborativa.

Objetivo general

Como parte del resultado de la investigación se diseñarán un conjunto de elementos gráficos y un modelo de ademanes para dispositivos multitáctiles que faciliten la manipulación de objetos mediante acciones más intuitivas o naturales en apoyo a proyectos de innovación y colaboración.

Objetivos específicos

·         Se realizará un modelo de ademanes probados en usuarios y en dispositivos multitáctiles que sea óptimo para la fase de generación de ideas de un proyecto de innovación y colaboración.

·         Se producirán un conjunto de elementos gráficos útiles para un proyecto de innovación.

·         Se desarrollará una aplicación en la que se demuestre la utilidad de los elementos gráficos y del modelo de ademanes propuestos.


Metodología

Se estudiarán modelos de ademanes en dispositivos multitáctiles y se realizará un comparativo mediante prototipos de baja fidelidad y estudios de usabilidad para obtener un conjunto de ademanes y elementos gráficos útiles en un proyecto de innovación y colaboración.

Se estudiarán diferentes modelos estadísticos para reconocimiento de patrones. En este caso para el reconocimiento de ademanes.

Se estudiarán diferentes metodologías de innovación, así como métodos para generación y evaluación de ideas, los cuales serán la base para las propuestas del modelo de ademanes y de elementos gráficos.

Se utilizarán diferentes metodología para evaluar la experiencia del usuario en las diferentes fases de desarrollo, con la finalidad de hacer refinamientos sucesivos al producto.

Se utilizarán análisis de la varianza ANOVA para obtener las escalas de probabilidad en que los ademanes fueron fácilmente reconocidos por el usuario y por el dispositivo.

Finalmente, se desarrollará un ambiente tecnológico y los modelos generados durante el proceso se probarán en el dispositivo Edis Interactive[5].

 

Plan de evaluación  de resultados

Se evaluará la funcionalidad de los modelos propuestos mediante estudios de usabilidad que permitan una comparación cualitativa con otros modelos de ademanes. Se plantearán escenarios de trabajo colaborativo en los que grupos de innovadores puedan interactuar durante la generación de ideas como parte del proceso de innovación.

Se desarrollarán componentes en diferentes fases de una arquitectura, que incluirán un modelo de ademanes y un conjunto de elementos gráficos. Durante el desarrollo de los primeros prototipos se utilizarán  métodos de evaluación de experiencia de usuario basados en talleres, sondeos, evaluación de perspectivas y revisiones por expertos en usabilidad.

 

Alcances y limitaciones

Este proyecto está enfocado a proponer, desarrollar, evaluar e implementar un conjunto de ademanes y elementos gráficos para superficies multitáctiles en apoyo a la generación de ideas tomando en cuenta los parámetros de una metodología de innovación.

Existen algunas áreas de oportunidad que no se explorarán en el proyecto como lo son:

·         Superficies verticales.

·         El estudio del hardware de dispositivos multitáctiles para conocer su usabilidad y ergonomía.

o   Materiales.

o   Medidas

o   Cámaras

o   Especificaciones

·         Modelo de ademanes e interfaces gráficas para otras aplicaciones específicas.

·         Enfoque en estudio de dispositivos móviles.


 

Plan de trabajo

Hardware a utilizar

Especificaciones del equipo de desarrollo, instalación y pruebas de sw:

Modelo: HP Pavilion dm3-1048la Entertainment PC

Microprocesador: Procesador Intel Core 2 Duo SU7300 de 1,3 GHz

Memoria: 3072 MB

Gráficos de video: Intel Graphics Media Accelerator 4500M

Disco duro: 320 GB (7200 RPM)

 

Equipos de estudio:

·         Microsoft Surface[6]

·         Ipad[7]

·         Edis Interactive[8]

·         Diamond Touch[9]

 

Equipo de instalación y pruebas:

Edis Interactive


Software a utilizar

·         Sistema Operativo: Windows7 Home Premium 64.

·         Plataformas para construir las aplicaciones (En proceso de estudio):

o   Microsoft .NET Framework 4.0[10] y WPF[11].

o   QT [12]

o   PyMT[13]

o   Java [14]

o   Flash [15]

·         Plataforma de detección en  interfaces táctiles de usuario (En proceso de estudio):  Community Core Vision, CCV[16].

 


 



      

Referencias

Benko, H., Wilson, A. D., & Baudisch, P. (2006). Precise selection techniques for multi-touch screens. In Proceedings of the SIGCHI conference on Human Factors in computing systems, 1263-1272. doi:http://doi.acm.org/10.1145/1124772.1124963  

Técnicas multitáctiles (ademanes) usando dos manos.

Cheng, I., Michel, D., Argyros, A., & Basu, A. (2009). A HIMI model for collaborative multi-touch multimedia education. In Proceedings of the 2009 workshop on Ambient media computing, 3-12. doi:http://doi.acm.org/10.1145/1631005.1631009  

Ejemplo de multitouch interactivo.

Fiebrink, R., Morris, D., & Morris, M. R. (2009). Dynamic mapping of physical controls for tabletop groupware. In Proceedings of the 27th international conference on Human factors in computing systems. doi:http://doi.acm.org/10.1145/1518701.1518778  

Un ejemplo que combina multitouch y dispositivos físicos para mejorar la interacción de los usuarios. 

Harris, A., Rick, J., Bonnett, V., Yuill, N., Fleck, R., Marshall, P., & Rogers, Y. (2009). Around the table: are multiple-touch surfaces better than single-touch for children's collaborative interactions? En Proceedings of the 9th international conference on Computer supported collaborative learning - Volume 1 (págs. 335-344). Rhodes, Greece: International Society of the Learning Sciences. Recuperado a partir de http://portal.acm.org/citation.cfm?id=1600053.1600104

Jordà, S., Hunter, S. E., Conesa, P. P. I., Gallardo, D., Kaufman, H., Julià, C. F., & Kaltenbrunner, M. (2010). Development strategies for tangible interaction on horizontal surfaces. In Proceedings of the fourth international conference on Tangible, embedded, and embodied interaction, 369-372. doi:http://doi.acm.org/10.1145/1709886.1709977  

Propuesta de estudio para interfaces multitouch con varios usuarios.

Khaled, R., Barr, P., Johnston, H., & Biddle, R. (2009). Let's clean up this mess: exploring multi-touch collaborative play. In Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, 4441-4446. doi:http://doi.acm.org/10.1145/1520340.1520680  

Experimento realizados con una mesa multitouch para varios usuarios. Se trata de un juego para varias personas.

Nacenta, M. A., Baudisch, P., Benko, H., & Wilson, A. (2009). Separability of spatial manipulations in multi-touch interfaces. In Proceedings of Graphics interface 2009, 324(ACM International Conference Procedings Series), 175-182.

Técnicas que permiten a los usuarios seleccionar un conjunto de interacciones multitáctiles, para trasladar, rotar, y escalar objetos, realizando  movimientos naturales.

Nacenta, M. A., Pinelle, D., Stuckel, D., & Gutwin, C. (2007). The effects of interaction technique on coordination in tabletop groupware. En Proceedings of Graphics Interface 2007 (págs. 191-198). Montreal, Canada: ACM. doi:10.1145/1268517.1268550

North, C., Dwyer, T., Lee, B., Fisher, D., Isenberg, P., Robertson, G., & Inkpen, K. M. (2009). Understanding multi-touch manipulation for surface computing. In Proceedings of the 12th IFIP TC 13 International Conference on Human-Computer Interaction: Part II, 236-249. doi:10.1007/978-3-642-03658-3_31  

Ademanes ideados por un grupo de personas cuando se les pidió realizar una tarea con multitouch sin entrenamiento previo.

Peltonen, P., kurvinen, E., Salovaara, A., Jacucci, G., Ilmonen, T., Evans, J., Oulasvirta, A., et al. (2008). "It's mine, don't touch!": Interactions at a large multi-touch display in a city centre. Computer Human Interaction 2008, 1-11.  

Ejemplo de una pared multitouch para varios usuarios en una ciudad. 

Seow, S. C., Wixon, D., MacKenzie, S., Jacucci, G., Morrison, A., & Wilson, A. (2009). Multitouch and surface computing. In Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, 4767-4770. doi:http://doi.acm.org/10.1145/1520340.1520736  

Algunas preguntas de investigación en el área de multi-touch y surface computing.

Sowa, T. (2008). The recognition and comprehension of hand gestures: a review and research agenda. En Proceedings of the Embodied communication in humans and machines, 2nd ZiF research group international conference on Modeling communication with robots and virtual humans (págs. 38-56). Bielefeld, Germany: Springer-Verlag. Recuperado a partir de http://portal.acm.org/citation.cfm?id=1794517.1794520&coll=GUIDE&dl=GUIDE&CFID=101077967&CFTOKEN=72306051

Ryall, K., Forlines, C., Shen, C., Morris, M. R., & Everitt, K. (2006). Experiences with and Observations of Direct-Touch Tabletops. En Proceedings of the First IEEE International Workshop on Horizontal Interactive Human-Computer Systems (págs. 89-96). IEEE Computer Society. Recuperado a partir de http://portal.acm.org/citation.cfm?id=1110621

Tang, A., Tory, M., Po, B., Neumann, P., & Carpendale, S. (2006). Collaborative coupling over tabletop displays. In Proceedings of the SIGCHI conference on Human Factors in computing systems. doi:http://doi.acm.org/10.1145/1124772.1124950  

Tratan dos experimentos realizados para observar los problemas existentes al momento de colaborar con pantallas multitouch.

Wobbrock, J. O., Morris, M. R., & Wilson, A. D. (2009). User-defined gestures for surface computing. En Proceedings of the 27th international conference on Human factors in computing systems (págs. 1083-1092). Boston, MA, USA: ACM. doi:10.1145/1518701.1518866

 

Bibliografía

Agarwal, A., Izadi, S., Chandraker, M., & Blake, A. (2007). High precision multi-touch sensing on surfaces using overhead cameras. In Second Annual IEEE International Workshop on Horizontal Interactive Human-Computer System, 197-200. doi:10.1109/TABLETOP.2007.29  

Se describe un algoritmo que identifica puntas de los dedos y detecta el contacto con una precisión de unos pocos milímetros por encima de la superficie. El algoritmo se basa en una máquina de métodos de aprendizaje y un modelo geométrico de dedos para lograr la precisión necesaria,  puede ser "entrenado" para trabajar en diferentes áreas. Se evalúa el método y se demuestra su uso para evaluación de ademanes basados en interacciones con pantallas táctiles, tanto en usuarios individuales como en escenarios remotos de colaboración.

Alfredo Sánchez. (2009). Innovation Forum 2009. innova.forum@gmail.com. Recuperado a partir de http://ict.udlap.mx/forum2009/

Proyecto que tiene como principal objetivo producir una plataforma que integra modelos, metodologías y tecnologías de información y de conocimiento para facilitar e impulsar la innovación.

Buxton, B. (2009). Multi-touch systems that I have known and loved. Microsoft Research. Recuperado a partir de http://www.billbuxton.com/multitouchOverview.html

Echtler, F., & Klinker, G. (2008). A multitouch software architecture. In Proceedings of the 5th Nordic conference on Human-computer interaction: building bridges, 463-466. doi:http://doi.acm.org/10.1145/1463160.1463220  

Jeff Han. (2006). Jeff Han demos his breakthrough touchscreen. Presented at the TED Ideas Worth Spreading. doi:http://www.ted.com/talks/jeff_han_demos_his_breakthrough_touchscreen.html

Muestra una barata y escalable multi-touch y una interfaz de pantalla de la computadora sensible a la presión que puede apuntar y hacer clic.

Merrie Ringel Morris, M. R. M. (2006). Supporting Effective Interaction with Tabletop Groupware. Stanford University. Recuperado a partir de http://research.microsoft.com/en-us/um/people/merrie/surface_research.html  

Presenta los resultados de los experimentos de usuario para observar la manera en que las personas comparten información y controlan un marco interactivo cara a cara para compartir el uso de una computadora. Sobre la base de estos principios de diseño se produjo una mesa que facilita la interacción persona-ordenador y los procesos de colaboración. Estos principios se refieren a los usos apropiados para las diferentes regiones de la superficie de la mesa, las técnicas para reducir el desorden visual, la utilidad y la visibilidad de los permisos de acceso para los objetos virtuales, los métodos que influencian las interacciones de los usuarios a través de diseño de la interfaz de la mesa, análisis de la forma de mesa para facilitar diferentes estilos de trabajo y las métricas adecuadas para evaluar la utilidad de esta clase de software.

Scott, S. D., Sheelagh, M., Carpendale, T., & Inkpen, K. M. (2004). Territoriality in collaborative tabletop workspaces. In Proceedings of the 2004 ACM conference on Computer supported cooperative work. doi:http://doi.acm.org/10.1145/1031607.1031655

Seifried, T., Haller, M., Scott, S. D., Perteneder, F., Rendl, C., Sakamoto, D., & Inami, M. (2009). CRISTAL: a collaborative home media and device controller based on a multi-touch display. In Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, 33-40. doi:http://doi.acm.org/10.1145/1731903.1731911  

Souza, C. S. D., & Leitão, C. F. (2009). Semiotic Engineering Methods for Scientific Research in HCI. Morgan & Claypool Publishers.  



[1] http://msdn.microsoft.com/en-us/library/cc872774.aspx

[3] http://ict.udlap.mx/projects/cudi/sipi/

[4] http://www.jnd.org/dn.mss/gestural_interfaces_a_step_backwards_in_usability_6.html

[5] http://edis.mx/

[6] http://www.microsoft.com/surface/en/us/default.aspx

[7] http://www.apple.com/mx/ipad/

[8] http://edis.mx/

[9] http://www.circletwelve.com/home.html

[10] http://www.microsoft.com/net/overview.aspx

[11] http://windowsclient.net/wpf/

[12] http://qt.nokia.com/

[13] http://pymt.eu/

[14] http://www.java.com/es/

[15] http://www.adobe.com/es/products/flash/?promoid=BPBIQ

[16] http://ccv.nuigroup.com/