Holomuseum: una aplicación para crear exhibiciones de realidad aumentada

Holomuseum es la primera de una serie de aplicaciones creadas por la división de AR del IDF (Instituto de Diseño y Fabricación), especialmente diseñada para las gafas de realidad aumentada Hololens de Microsoft. Se trata de una aplicación pensada para facilitar la creación y mantenimiento de exhibiciones de objetos multimedia en cualquier espacio.

 

El sistema Holomuseum puede verse en funcionamiento en la exposición «Repensat i Fet» desde el 13 de junio al 25 de julio de 2017 en la sala de exposiciones del Rectorado de la Universitat Politècnica de València.

Nuestro sistema utiliza las revolucionarias propiedades de este nuevo tipo de gafas para crear una nueva categoría de exposición -la exposición de realidad mixta- al tiempo que pretende solucionar varios de los problemas intrínsecos que todavía arrastra esta tecnología, como son: su baja potencia de cálculo y almacenamiento; la dificultad en la gestión y mantenimiento de las ubicaciones espaciales de los objetos asociados a cada sala; y la falta de un lenguaje de interacción para operar convenientemente con los contenidos virtuales en el espacio físico.

Hololens: Una nueva categoría de hardware, ¿Un nuevo medio?

Estamos trabajando con las gafas Hololens desde que aparecieron hace poco más de un año para desarrolladores. Nuestro interés por crear contenidos y aplicaciones para este sistema surgió al comprobar que se trataba del primer dispositivo realmente capaz de materializar un sueño largamente anhelado: ser capaces de percibir e interactuar con contenidos virtuales en forma de hologramas anclados al espacio físico.
En resumen, podemos establecer tres grandes propiedades que convierten a estas gafas en el primer dispositivo de una nueva categoría de hardware de realidad aumentada:

  • Son portátiles, relativamente ligeras y totalmente autosuficientes. No necesitan un PC conectado a ellas como otros sistemas de realidad aumentada (como HTC Vive o Oculus Rift), y pueden operar con contenidos que se obtienen desde internet vía Wifi.
  • Son capaces de rastrear continuamente el espacio para colocar los contenidos a la vista del usuario de forma espacialmente coherente, dando la sensación de que los elementos virtuales están anclados al mundo físico circundante.
  • Son estereoscópicas y transparentes. Las imágenes estereoscópicas se generan en la parte central de la gafa y no bloquean la visión natural del usuario, creando la ilusión de que los objetos proyectados están sobre el espacio natural de la visión. al tiempo que se genera una imagen muy agradable y perceptivamente de gran resolución que, además, no tiene los problemas de producir mareos típicos de los sistemas de gafas VR.

En este ámbito vimos la necesidad de generar una aplicación específica para facilitar la creación de exhibiciones de todo tipo destinadas a explotar las nuevas capacidades del medio AR. Se trata de una herramienta preparada para satisfacer las necesidades tanto del comisario de la exposición como del visitante. Por una parte dispone de un modo de edición, en el cual podemos gestionar como curadores la lista de objetos a exponer, y colocarlos en el espacio físico de forma permanente, y por otra, tiene el modo por defecto, el de visitante, preparado para automatizar la carga y descarga de contenido a partir de la petición por voz o gestos sobre la cartela-cubo de cada contenido.

 

 

La necesidad de un “Augmented Reality Exhibition Maker”.

Nuestro sistema “Holomuseum” soluciona varios problemas importantes surgidos por una parte por los propios límites actuales de la tecnología – manejo y mantenimiento de una colección de contenidos de AR y su ubicación estable en una o varias salas- y por otra, por la ausencia de un lenguaje de interacción consensuado para el manejo de contenidos de AR.

Manejo de una colección de contenidos.

Nuestra aplicación está diseñada para añadir nuevos contenidos automáticamente a partir de una página XML publicada en Internet. Una aproximación tradicional a la generación de diferentes contenidos y aplicaciones es la de generar una aplicación diferente para cada uno de ellos. Este punto de vista conlleva varios perjuicios a la hora de crear una exhibición con diversos objetos multimedia: por una parte, para activar cualquier contenido se hace necesario abrir y cerrar cada contenido -programa multimedia, interactivo, objetos 3d, sonido, etc.-, perdiéndose así la concepción de colección estable, necesaria en cualquier exhibición. Esta página describe de forma sencilla el listado de objetos que forman parte de la colección a exponer. En cualquier momento se puede cambiar con un procesador de texto y actualizar así el contenido de la muestra sin tener que cambiar de aplicación o hacer cambios en la misma.

Generación de un leguaje específico para la interacción con colecciones de objetos/aplicaciones AR.

La forma de operar con una colección de elementos se realiza tradicionalmente en un PC a través de listados gráficos (como en una página web), sin embargo, esta aproximación nos parece muy pobre a la hora de integrar los contenidos en el espacio físico. Nuestra aproximación pasa por la creación de un lenguaje sencillo más acorde con el espacio tridimensional basado en el binomio Cartela/Contenido. Se trata de un sistema de pequeños cubos de 15 centímetros, que referencian -como las cartelas- a cada uno de los contenidos descritos en el listado de la exposición.

Estos cubos interactivos funcionan como una especie de botón/cartela para descargar los contenidos – que pueden ser desde una pequeña animación hasta un complejo programa interactivo-. El usuario puede activar estos cubos con una sencilla orden de voz (“Open box”) o con un gesto de pellizco en el espacio. Cuando se activan el sistema descarga el contenido en la memoria, y el usuario ve al cubo volar por la sala hasta la ubicación previamente establecida por el comisario de la exposición donde debe aparecer finalmente el contenido expuesto. Los cubos se pueden colocar junto a cartelas o descriptores reales colgados de las paredes de la sala para ayudar al usuario a comprender la distribución de los mismos en el espacio.

 

Ubicación de los contenidos en la sala.

La relación entre el contenido virtual y los elementos reales en el espacio expositivo es la que da sentido a la realidad aumentada. La perfecta colocación de los objetos de AR en el espacio de la sala plantea un problema básico de mantenimiento y personalización, ya que la ubicación perfecta de los mismos está sujeta a las condiciones de cada espacio y al criterio de cada expositor. Nuestro sistema establece en el modo de edición unos manejadores para facilitar la reubicación personalizada de los cubos-cartela y sus contenidos asociados. Con un sencillo gesto de agarre en el aire (air-tap) se puede reubicar cualquier item virtual para que el visitante lo encuentre allí la próxima vez que se abra la aplicación.


Los inicios de un nuevo medio para el arte y la industria

La simbiosis de elementos reales y virtuales son capaces de generar nuevas narrativas donde lo virtual se superpone sobre lo real no para sustituirlo, sino para aumentar su fuerza comunicativa y emocional. Entendemos que este nuevo tipo de dispositivos de AR, inaugurado con Hololens, se posiciona como un verdadero nuevo medio de comunicación, con infinitas posibilidades tanto en la industria como en el arte. Es por ello que muestra primea exposición con Holomuseum es un compendio de contenidos de muy diversa índole que demuestran varias de las innovadores propiedades del medio.

Oferta Tecnológica de nuestro grupo de investigación

Como grupo de investigación dentro del IDF (Instituto de Diseño y Fabricación de la UPV) somos especialistas en ingeniería del software, la fabricación y el diseño multimedia, y es por ello que nos hemos embarcado apasionadamente en la generación de contenidos y aplicaciones para este nuevo medio, sabedores de que hay todavía mucho espacio por recorrer en los próximos años. Estamos abiertos a futuras colaboraciones con instituciones y empresas dispuestas a apostar por estar en la vanguardia de lo que creemos está empezando a vislumbrarse como el próximo gran salto de la informática, en líneas como:
– El diseño, creación y evaluación de UX (User experiences) para Hololens.
– La creación de prototipos AR para la mejora de la productividad industrial en actividades específicas.
– Investigación de los efectos y el uso de los sistemas de AR en línea de producción y en exposiciones.

Para obtener más información sobre nuestro grupo y establecer posibles colaboraciones puede escribirnos a: reality@institutoidf.com 

Instituto de diseño y fabricación (IDF)
CPI, Universitat Politècnica de València. Camino de Vera s/n. Edificio 8E bajo. 46022