'[:es]Holomuseum: una aplicación para crear exhibiciones de realidad aumentada[:en]Holomuseum: an aumented reallity exhibition maker app.[:]' por amunyoz

[:es]

Holomuseum es la primera de una serie de aplicaciones creadas por la división de AR del IDF (Instituto de Diseño y Fabricación), especialmente diseñada para las gafas de realidad aumentada Hololens de Microsoft. Se trata de una aplicación pensada para facilitar la creación y mantenimiento de exhibiciones de objetos multimedia en cualquier espacio.

 

El sistema Holomuseum puede verse en funcionamiento en la exposición «Repensat i Fet» desde el 13 de junio al 25 de julio de 2017 en la sala de exposiciones del Rectorado de la Universitat Politècnica de València.

Nuestro sistema utiliza las revolucionarias propiedades de este nuevo tipo de gafas para crear una nueva categoría de exposición -la exposición de realidad mixta- al tiempo que pretende solucionar varios de los problemas intrínsecos que todavía arrastra esta tecnología, como son: su baja potencia de cálculo y almacenamiento; la dificultad en la gestión y mantenimiento de las ubicaciones espaciales de los objetos asociados a cada sala; y la falta de un lenguaje de interacción para operar convenientemente con los contenidos virtuales en el espacio físico.

Hololens: Una nueva categoría de hardware, ¿Un nuevo medio?

Estamos trabajando con las gafas Hololens desde que aparecieron hace poco más de un año para desarrolladores. Nuestro interés por crear contenidos y aplicaciones para este sistema surgió al comprobar que se trataba del primer dispositivo realmente capaz de materializar un sueño largamente anhelado: ser capaces de percibir e interactuar con contenidos virtuales en forma de hologramas anclados al espacio físico.
En resumen, podemos establecer tres grandes propiedades que convierten a estas gafas en el primer dispositivo de una nueva categoría de hardware de realidad aumentada:

• Son portátiles, relativamente ligeras y totalmente autosuficientes. No necesitan un PC conectado a ellas como otros sistemas de realidad aumentada (como HTC Vive o Oculus Rift), y pueden operar con contenidos que se obtienen desde internet vía Wifi.
• Son capaces de rastrear continuamente el espacio para colocar los contenidos a la vista del usuario de forma espacialmente coherente, dando la sensación de que los elementos virtuales están anclados al mundo físico circundante.
• Son estereoscópicas y transparentes. Las imágenes estereoscópicas se generan en la parte central de la gafa y no bloquean la visión natural del usuario, creando la ilusión de que los objetos proyectados están sobre el espacio natural de la visión. al tiempo que se genera una imagen muy agradable y perceptivamente de gran resolución que, además, no tiene los problemas de producir mareos típicos de los sistemas de gafas VR.

En este ámbito vimos la necesidad de generar una aplicación específica para facilitar la creación de exhibiciones de todo tipo destinadas a explotar las nuevas capacidades del medio AR. Se trata de una herramienta preparada para satisfacer las necesidades tanto del comisario de la exposición como del visitante. Por una parte dispone de un modo de edición, en el cual podemos gestionar como curadores la lista de objetos a exponer, y colocarlos en el espacio físico de forma permanente, y por otra, tiene el modo por defecto, el de visitante, preparado para automatizar la carga y descarga de contenido a partir de la petición por voz o gestos sobre la cartela-cubo de cada contenido.

 

 

La necesidad de un “Augmented Reality Exhibition Maker”.

Nuestro sistema “Holomuseum” soluciona varios problemas importantes surgidos por una parte por los propios límites actuales de la tecnología – manejo y mantenimiento de una colección de contenidos de AR y su ubicación estable en una o varias salas- y por otra, por la ausencia de un lenguaje de interacción consensuado para el manejo de contenidos de AR.

Manejo de una colección de contenidos.

Nuestra aplicación está diseñada para añadir nuevos contenidos automáticamente a partir de una página XML publicada en Internet. Una aproximación tradicional a la generación de diferentes contenidos y aplicaciones es la de generar una aplicación diferente para cada uno de ellos. Este punto de vista conlleva varios perjuicios a la hora de crear una exhibición con diversos objetos multimedia: por una parte, para activar cualquier contenido se hace necesario abrir y cerrar cada contenido -programa multimedia, interactivo, objetos 3d, sonido, etc.-, perdiéndose así la concepción de colección estable, necesaria en cualquier exhibición. Esta página describe de forma sencilla el listado de objetos que forman parte de la colección a exponer. En cualquier momento se puede cambiar con un procesador de texto y actualizar así el contenido de la muestra sin tener que cambiar de aplicación o hacer cambios en la misma.

Generación de un leguaje específico para la interacción con colecciones de objetos/aplicaciones AR.

La forma de operar con una colección de elementos se realiza tradicionalmente en un PC a través de listados gráficos (como en una página web), sin embargo, esta aproximación nos parece muy pobre a la hora de integrar los contenidos en el espacio físico. Nuestra aproximación pasa por la creación de un lenguaje sencillo más acorde con el espacio tridimensional basado en el binomio Cartela/Contenido. Se trata de un sistema de pequeños cubos de 15 centímetros, que referencian -como las cartelas- a cada uno de los contenidos descritos en el listado de la exposición.

Estos cubos interactivos funcionan como una especie de botón/cartela para descargar los contenidos – que pueden ser desde una pequeña animación hasta un complejo programa interactivo-. El usuario puede activar estos cubos con una sencilla orden de voz (“Open box”) o con un gesto de pellizco en el espacio. Cuando se activan el sistema descarga el contenido en la memoria, y el usuario ve al cubo volar por la sala hasta la ubicación previamente establecida por el comisario de la exposición donde debe aparecer finalmente el contenido expuesto. Los cubos se pueden colocar junto a cartelas o descriptores reales colgados de las paredes de la sala para ayudar al usuario a comprender la distribución de los mismos en el espacio.

 

Ubicación de los contenidos en la sala.

La relación entre el contenido virtual y los elementos reales en el espacio expositivo es la que da sentido a la realidad aumentada. La perfecta colocación de los objetos de AR en el espacio de la sala plantea un problema básico de mantenimiento y personalización, ya que la ubicación perfecta de los mismos está sujeta a las condiciones de cada espacio y al criterio de cada expositor. Nuestro sistema establece en el modo de edición unos manejadores para facilitar la reubicación personalizada de los cubos-cartela y sus contenidos asociados. Con un sencillo gesto de agarre en el aire (air-tap) se puede reubicar cualquier item virtual para que el visitante lo encuentre allí la próxima vez que se abra la aplicación.

Los inicios de un nuevo medio para el arte y la industria

La simbiosis de elementos reales y virtuales son capaces de generar nuevas narrativas donde lo virtual se superpone sobre lo real no para sustituirlo, sino para aumentar su fuerza comunicativa y emocional. Entendemos que este nuevo tipo de dispositivos de AR, inaugurado con Hololens, se posiciona como un verdadero nuevo medio de comunicación, con infinitas posibilidades tanto en la industria como en el arte. Es por ello que muestra primea exposición con Holomuseum es un compendio de contenidos de muy diversa índole que demuestran varias de las innovadores propiedades del medio.

Oferta Tecnológica de nuestro grupo de investigación

Como grupo de investigación dentro del IDF (Instituto de Diseño y Fabricación de la UPV) somos especialistas en ingeniería del software, la fabricación y el diseño multimedia, y es por ello que nos hemos embarcado apasionadamente en la generación de contenidos y aplicaciones para este nuevo medio, sabedores de que hay todavía mucho espacio por recorrer en los próximos años. Estamos abiertos a futuras colaboraciones con instituciones y empresas dispuestas a apostar por estar en la vanguardia de lo que creemos está empezando a vislumbrarse como el próximo gran salto de la informática, en líneas como:
– El diseño, creación y evaluación de UX (User experiences) para Hololens.
– La creación de prototipos AR para la mejora de la productividad industrial en actividades específicas.
– Investigación de los efectos y el uso de los sistemas de AR en línea de producción y en exposiciones.

Para obtener más información sobre nuestro grupo y establecer posibles colaboraciones puede escribirnos a: reality@institutoidf.com  Instituto de diseño y fabricación (IDF) CPI, Universitat Politècnica de València. Camino de Vera s/n. Edificio 8E bajo. 46022

 [:en]

Holomuseum is the first in a series of applications created by the AR division of the IDF (Design and Manufacturing Institute), specially designed for Microsoft’s Hololens augmented reality glasses. It is an application designed to facilitate the creation and maintenance of multimedia object displays in any space.

 

The Holomuseum system can be seen at the exhibition «Repensat i Fet» from 13 June to 25 July 2017 in the exhibition hall of the Rectorate of the Universitat Politècnica de Valencia.

Our system uses the revolutionary properties of this new type of glasses to create a new category of exhibition – the exhibition of mixed reality – while trying to solve several of the intrinsic problems that still carry this technology, such as: its low power of calculation And storage; The difficulty in managing and maintaining the spatial locations of the objects associated with each room; And the lack of an interaction language to conveniently operate with virtual contents in the physical space.

 

Hololens: A new category of AR hardware. A new media?

We’ve been working with Hololens since they appeared just over a year ago for developers. Our interest in creating content and applications for this system arose when we verified that it was the first device really capable of materializing a long-awaited dream: to be able to perceive and interact with virtual contents in the form of holograms anchored to the physical space.
In summary, we can establish three great properties that make these glasses the first device of a new category of hardware augmented reality:

• They are portable, relatively light and totally self-sufficient. They do not need a PC connected to them like other augmented reality systems (like HTC Vive or Oculus Rift), and can operate with contents that are obtained from Internet via Wifi.
• They are able to continuously track the space to place the contents in the view of the user in a spatially coherent way, giving the feeling that the virtual elements are anchored to the surrounding physical world.
• They are stereoscopic and transparent. The stereoscopic images are generated in the central part of the spectacle and do not block the user’s natural vision, creating the illusion that the projected objects are on the natural space of the vision. While generating a very pleasant and perceptively high-resolution image that, moreover, does not have the problems of producing typical dizziness of VR glasses systems.

In this area we saw the need to generate a specific application to facilitate the creation of exhibitions of all kinds aimed at exploiting the new capabilities of the AR medium. It is a tool prepared to meet the needs of both the curator of the exhibition and the visitor. On the one hand there is an editing mode, in which we can manage as curators the list of objects to be displayed, and place them in the physical space permanently, and on the other, it has the default mode, the visitor mode, prepared for Automate the upload and download of content from the request by voice or gestures on the bulletin board of each content.

The need for a «augmented reality exhibition maker».

Our system «Holomuseum» solves several important problems arisen by one part by the own current limits of the technology -management and maintenance of a collection of contents of AR and its stable location in one or several rooms- and on the other, by the absence of a consensual language of interaction for the handling of AR content.

Management of a collection of contents.

Our application is designed to automatically add new content from an XML page published on the Internet. A traditional approach to generating different content and applications is to generate a different application for each of them. This point of view has several damages to create an exhibition with various multimedia objects: on the one hand, to activate any content it becomes necessary to open and close each content – multimedia program, interactive, 3d objects, sound, etc. – Thus losing the conception of stable collection, necessary in any exhibition. This page describes in a simple way the list of objects that are part of the collection to be exhibited. At any time you can change with a word processor and thus update the contents of the sample without having to change applications or make changes to it.

Generation of a specific language for interaction with collections of AR objects/applications.

The way to operate with a collection of elements is done traditionally in a PC through graphic listings (as in a web page), however, this approximation seems very poor when it comes to integrating the contents in the physical space. Our approach involves the creation of a simple language that is more in line with the three-dimensional space based on the binomial Poster / Contents. It is a system of small cubes of 15 centimeters, which refer, as the cards, to each of the contents described in the list of the exhibition.

These interactive cubes function as a sort of button / card to download the contents – which can be from a small animation to a complex interactive program. The user can activate these cubes with a simple voice command («Open box») or with an air tap gesture. When the system is activated, it downloads the content into memory, and the user sees the cube fly through the room to the location previously established by the curator of the exhibition where the exposed content should finally appear. The cubes can be placed next to cards or real descriptors hung on the walls of the room to help the user understand the distribution of the same in space.

Location of the contents in the room.

The relation between the virtual content and the real elements in the exhibition space is the one that gives meaning to the augmented reality. The perfect placement of AR objects in the living space presents a basic problem of maintenance and personalization, since the perfect location of the objects is subject to the conditions of each space and to the criteria of each exhibitor. Our system establishes in the editing mode some handlers to facilitate the personalized relocation of the cubes-cart and its associated contents. With a simple air-tap gesture you can relocate any virtual item so that the visitor will find it there the next time the application is opened.

The beginnings of a new medium for art and industry.

The symbiosis of real and virtual elements are capable of generating new narratives where the virtual overlaps over the real not to replace it, but to increase its communicative and emotional strength. We understand that this new type of AR devices, inaugurated with Hololens, is positioned as a true new means of communication, with infinite possibilities in both industry and art. That is why it shows first exposure with Holomuseum is a compendium of contents of very diverse nature that demonstrate several of the innovative properties of the medium.

Technology offer from our research group

As a research group within the IDF (Institute of Design and Manufacturing of the UPV) we are specialists in software engineering, manufacturing and multimedia design, and that is why we have embarked passionately in the generation of content and applications for this new Medium, knowing that there is still much room to go in the next few years. We are open to future collaborations with institutions and companies willing to bet on being at the forefront of what we believe is beginning to be seen as the next great leap in computing, in lines such as:

• The design, creation and evaluation of UX (User experiences) for Hololens.
• The creation of AR prototypes for the improvement of industrial productivity in specific activities.
• Investigation of the effects and use of RA systems in production line and in exhibitions.

To obtain more information about our group and to establish possible collaborations you can write us to: reality@institutoidf.com  Instituto de diseño y fabricación (IDF) CPI, Universitat Politècnica de València. Camino de Vera s/n. Edificio 8E bajo. 46022

 [:]