La mayoría de los manuales de usuario son inútiles. Están repletos de texto mal escrito y diagramas confusos. Peor aún, la brecha entre el problema y la solución es enorme porque nos vemos obligados a aplicar un formato lineal (una guía) a una pregunta específica. ¿Dónde hay un cuadro de búsqueda cuando lo necesitas?
Pero aquí hay una idea: ¿Qué pasa si en lugar de hojear páginas o desplazarse por un manual en línea, simplemente pudiera
ver
su camino a través de una tarea? Simplemente coloque un auricular y trabaje a su manera a través de un poco de educación personalizada en realidad aumentada.
Aprenda más rápido. Excavar más hondo. Vea más lejos.
Únase a la plataforma de aprendizaje en línea de O'Reilly. Obtenga una prueba gratuita hoy y encuentre respuestas sobre la marcha, o domine algo nuevo y útil.
Aprende más
Eso es lo que dice el profesor de informática de la Universidad de Columbia.
Steve Feiner
y Ph.D. candidato
Steve Henderson
están tratando de hacer con su
Realidad aumentada para mantenimiento y reparación
(ARMAR) proyecto. Combinan sensores, pantallas que se colocan en la cabeza e instrucciones para abordar las necesidades de mantenimiento de las fuerzas armadas. Echa un vistazo a
este video del proyecto
y verá rápidamente cómo la misma aplicación podría extenderse a todo tipo de casos de uso:
En las siguientes preguntas y respuestas, Feiner y Henderson discuten la génesis de ARMAR y sus aplicaciones prácticas. También ofrecen algunos consejos para cualquiera que quiera desarrollar su propio proyecto educativo basado en RA.
Mac Slocum:
¿Qué inspiró a ARMAR?
Steve Feiner:
ARMAR se inspiró en parte en proyectos de investigación anteriores que hemos realizado en
Laboratorio de gráficos por computadora e interfaces de usuario de Columbia
, investigando cómo se podría utilizar la realidad aumentada para tareas de mantenimiento y montaje.
Este trabajo se remonta a 1991, cuando comenzamos a trabajar en
KARMA
(Realidad aumentada basada en el conocimiento para la asistencia de mantenimiento). El primer trabajo sobre ARMAR comenzó en 2006, con la financiación inicial del Laboratorio de Investigación de la Fuerza Aérea de EE. UU., Cuando Steve Henderson comenzó su doctorado. estudios en Columbia.
Nuestro dominio de aplicación del
LAV-25
La torreta de vehículos blindados ligeros fue el resultado de la financiación de la Base Logística del Cuerpo de Marines de los EE. UU., a partir de 2007, para investigar cómo se podría aplicar la RA al mantenimiento de campo futuro de vehículos militares.
SRA:
¿ARMAR está en uso activo?
Steve Feiner:
ARMAR es un proyecto de investigación y no se ha implementado.
SRA:
¿Puedes explicarme la experiencia de usuario de ARMAR?
Steve Henderson:
El usuario puede ver cinco tipos de contenido aumentado presentado en la pantalla transparente con diadema:
Información que dirige la atención en forma de flechas 3D y 2D, que explica la ubicación de la siguiente tarea a realizar.
Instrucciones de texto que describen la tarea y las notas y advertencias que la acompañan.
Etiquetas registradas que muestran la ubicación de cada componente de destino y el contexto circundante.
Una vista de primer plano que representa una escena virtual en 3D centrada en el objetivo a corta distancia y representada en un panel de pantalla fija en 2D.
Modelos 3D de herramientas (por ejemplo, un destornillador) y componentes de dominio de tareas (por ejemplo, sujetadores o componentes más grandes), si corresponde, registrados en sus ubicaciones actuales o de destino en el entorno.
SRA:
¿Qué herramientas y tecnologías emplea?
Steve Henderson:
La implementación inicial de ARMAR se construyó como un mod de motor de juego usando el
Kit de desarrollo de software Valve Source
. Durante el último semestre, ARMAR se ha vuelto a implementar utilizando
Duende XNA
, la plataforma de código abierto de nuestro laboratorio para desarrollar aplicaciones de realidad aumentada.
Steve Feiner:
También aprovechamos una amplia gama de pantallas y sistemas de seguimiento disponibles en el Laboratorio de Interfaces de Usuario y Gráficos por Computadora de Columbia. Estos incluyen una pantalla de video personalizada con diadema transparente que Steve Henderson construyó específicamente para usar en el proyecto (utilizando un
Headplay
pantalla y dos
Point Grey Firefly MV
cámaras), un
Vuzix iWear VR920
con
CamAR
pantalla de video transparente en la cabeza y una
NVIS nVisor ST 60
Pantalla óptica transparente para llevar en la cabeza. Las tecnologías de seguimiento que utilizamos incluyen
InterSense IS900
y
IS1200
rastreadores híbridos,
NaturalPoint OptiTrack
Seguimiento óptico de infrarrojos, y el
VTT ALVAR
paquete de seguimiento de marcador óptico.
Normalmente ejecutamos la aplicación y la pantalla que se coloca en la cabeza en una PC de escritorio con un
Tarjeta gráfica NVIDIA Quadro FX 4500
. Cuando corresponde, ejecutamos NaturalPoint OptiTrack en una computadora portátil separada. Pero no hay ninguna razón por la que la aplicación en sí no pueda ejecutarse en una computadora portátil de alta gama.
Además, ahora existen soluciones HDMI inalámbricas que podrían usarse para cortar de manera efectiva el cable de la computadora a la pantalla que se coloca en la cabeza, eliminando la conexión física a las computadoras.
ARMAR es un banco de pruebas de investigación y no un sistema de producción listo para implementar. Por lo tanto, somos libres de explorar diferentes combinaciones de tecnologías, sin tener que comprometernos con ellas como parte de una solución llave en mano.
SRA:
El video muestra lo que parece ser el
Teléfono móvil G1
. ¿Es un dispositivo de entrada?
Steve Henderson:
El teléfono Android G1 se utiliza como un controlador de muñeca que muestra un conjunto simple de controles 2D y detecta los gestos del usuario realizados en la pantalla táctil. Los gestos se transmiten a la computadora que ejecuta ARMAR a través de Wi-Fi. El G1 permite al usuario moverse entre los pasos de mantenimiento y controlar las animaciones explicativas que puede presentar el sistema, iniciándolas, deteniéndolas y cambiando la velocidad a la que juegan.
SRA:
¿Qué tan pequeño puedes hacer ARMAR?
> Steve Feiner:Nuestro énfasis ha estado en el desarrollo de un banco de pruebas de investigación en el que podamos diseñar y evaluar formalmente la efectividad de nuevas formas de ayudar a los mecánicos a aprender y realizar tareas de mantenimiento. Por lo tanto, no hemos tenido que preocuparnos por elegir hardware específico en el que se pueda implementar una implementación de calidad de producción en este momento, y mucho menos hacerlo realmente pequeño.
Dicho esto, la Ley de Moore, junto con el desarrollo de hardware competitivo y la fuerte demanda de los consumidores de dispositivos cada vez más pequeños y potentes que puedan admitir juegos en 3D, está reduciendo el tamaño y el costo de los dispositivos móviles en los que ARMAR y sus descendientes podrán hacerlo. correr. Y, la capacidad para transmitir video inalámbrico de alta resolución también podría ayudar a eliminar la necesidad de cables hacia / desde la pantalla que se coloca en la cabeza, lo que eventualmente permitirá que el sistema use gafas que se parecen mucho a las gafas actuales. Estos podrían conectarse de forma inalámbrica a una pequeña computadora del tamaño de un teléfono inteligente que se coloca en la cintura, o incluso a una computadora estacionaria cercana cuyo tamaño se vuelve mucho menos importante.
SRA:
¿Se podría portar algo como ARMAR a teléfonos móviles? ¿Podría existir como aplicación?
Steve Henderson:
Si. Pero tenga en cuenta que una aplicación que usaba la cámara y la pantalla incorporadas de un teléfono móvil actual, sostenida en la mano del usuario, no se adaptará a muchas tareas en las que el encargado de mantenimiento debe dedicar ambas manos a la tarea en sí. Sin embargo, a medida que los teléfonos móviles maduren, creemos que pronto estarán diseñados para interactuar con, o incluso integrarse en, gafas con seguimiento, lo que los convierte en una plataforma ideal para ARMAR.
SRA:
¿Cuál ha sido el aspecto más desafiante del desarrollo?
Steve Henderson:
Ha sido un desafío rastrear la cabeza del usuario dentro de los estrechos confines de la torreta. No tenemos una réplica completa de la torreta en nuestro laboratorio y no pudimos instalar permanentemente ninguna infraestructura de rastreo en las torretas reales donde hicimos nuestros estudios.
Usando pantallas de diadema transparentes de video estéreo debajo
Direct3D
también ha sido un desafío. No existen disposiciones explícitas para el estéreo en Direct3D y el soporte formal para pantallas estéreo proporcionado por los proveedores de tarjetas gráficas no aborda la combinación de gráficos renderizados con videos separados para el ojo izquierdo y el ojo derecho. Tuvimos la suerte de que NVIDIA nos proporcionara un kit de desarrollo de software no compatible para manejar esto en sus tarjetas gráficas.
SRA:
¿Ha salido algo más suave de lo que esperaba?
Steve Henderson:
Nuestra reciente reimplementación de ARMAR utilizando el marco GoblinXNA ha ido muy bien. Nuestro diseño de prototipo inicial, que aprovechó el kit de desarrollo de software Valve Source, requirió implementaciones personalizadas de varias funciones básicas requeridas para aplicaciones de realidad aumentada (por ejemplo, seguimiento y control de cámara). GoblinXNA proporciona estas funciones implícitamente, lo que nos ha permitido dedicar más tiempo al diseño de la interfaz de realidad aumentada real. Además, la implementación del controlador de muñeca fue muy sencilla utilizando el
Kit de desarrollo de software de Android
y
Entorno de desarrollo integrado Eclipse
.
SRA:
¿Ve aplicaciones en otras industrias?
Steve Feiner:
Hay muchas aplicaciones potenciales de la RA para explicar las tareas industriales, tanto en la formación como en la producción. Básicamente, podría utilizarse en cualquier ámbito en el que el personal utilice documentación convencional, desde manuales en papel hasta manuales electrónicos basados en computadora.
SRA:
¿Qué hay del uso por parte del consumidor?
Steve Henderson:
Hay muchas tareas diarias en las que los consumidores necesitan consultar instrucciones escritas o basadas en computadora. Piense en ensamblar una bicicleta o un mueble, hacer una receta compleja, cablear un centro de entretenimiento en el hogar o arreglar una cortadora de césped reacia. Estos son solo algunos ejemplos de tareas en las que sistemas como ARMAR podrían hacer que la tarea sea más fácil y rápida de realizar, y hacer que sea más probable que se realice correctamente.
SRA:
Si alguien quiere emprender un proyecto similar, ¿qué orientación le daría? ¿De qué deben tener cuidado? ¿Por dónde deberían empezar?
Steve Feiner:
Es importante conocer, aprender y aprovechar el trabajo relevante actual y pasado. Los investigadores han estado explorando la RA y publicando su trabajo durante más de 40 años, comenzando con
De Ivan Sutherland
investigación sobre pantallas transparentes con seguimiento en la cabeza.
La conferencia líder en este campo - el
Simposio internacional IEEE sobre realidad aumentada y mixta
, y sus predecesores directos, se remonta a 1998. Por lo tanto, recomendamos encarecidamente que alguien que quiera desarrollar un proyecto similar (o, para el caso, cualquier proyecto de AR) se familiarice con lo que otros han hecho antes, para averiguar qué funcionó y lo que no.
También es importante tener una relación de trabajo cercana con expertos en la materia en el campo en el que se desarrollará la aplicación y poder ejecutar pruebas de usuario con los miembros de la población para quienes se está diseñando el sistema.
SRA:
¿Cuál es el siguiente paso para hacer que esta tecnología esté más disponible?
Steve Feiner:
En el
trabajo sobre el que informamos en IEEE ISMAR 2009
, mostramos cómo AR hizo posible ubicar las tareas de mantenimiento para realizarlas más rápidamente que la documentación electrónica de última generación. Y ahora nos estamos concentrando en mejorar la velocidad y precisión de los usuarios al realizar tareas que implican orientar y colocar piezas durante el montaje y desmontaje. Hacer que las tecnologías en las que estamos trabajando estén disponibles para otros implicará financiación adicional para abordar otros dominios y realizar implementaciones de producción sólidas del software.
