A maioria dos manuais do usuário não tem valor. Eles estão repletos de textos mal escritos e diagramas confusos. Pior ainda, a lacuna entre o problema e a solução é grande porque somos forçados a aplicar um formato linear (um guia) a uma questão específica. Onde está uma caixa de pesquisa quando você precisa dela?
Mas aqui está uma ideia: e se, em vez de folhear as páginas ou rolar um manual online, você pudesse simplesmente
Vejo
seu caminho através de uma tarefa? Basta deslizar um fone de ouvido e trabalhar seu caminho através de um pouco de educação de realidade aumentada personalizada.
Aprenda mais rápido. Vá mais fundo. Veja mais adiante.
Junte-se à plataforma de aprendizagem online O'Reilly. Faça uma avaliação gratuita hoje e encontre respostas rapidamente ou domine algo novo e útil.
Saber mais
Isso é o que o professor de ciência da computação da Universidade de Columbia
Steve Feiner
e Ph.D. candidato
Steve Henderson
estão tentando fazer com seus
Realidade Aumentada para Manutenção e Reparo
(ARMAR) projeto. Eles estão combinando sensores, visores de capacete e instruções para atender às necessidades de manutenção dos militares. Dê uma olhada em
este vídeo do projeto
e você verá rapidamente como o mesmo aplicativo pode se estender a todos os tipos de casos de uso:
Nas perguntas e respostas a seguir, Feiner e Henderson discutem a gênese da ARMAR e suas aplicações práticas. Eles também oferecem algumas dicas para quem deseja desenvolver seu próprio projeto instrucional baseado em RA.
Mac Slocum:
O que inspirou ARMAR?
Steve Feiner:
ARMAR foi inspirado em parte por projetos de pesquisa anteriores que fizemos em
Laboratório de Computação Gráfica e Interfaces do Usuário da Columbia
, investigando como a realidade aumentada pode ser usada para tarefas de manutenção e montagem.
Esse trabalho data de 1991, quando começamos a trabalhar no
CARMA
(Realidade Aumentada Baseada em Conhecimento para Assistência de Manutenção). Os primeiros trabalhos no próprio ARMAR começaram em 2006, com financiamento inicial do Laboratório de Pesquisa da Força Aérea dos Estados Unidos, quando Steve Henderson começou seu doutorado. estudos em Columbia.
Nosso domínio de aplicativo do
LAV-25
A torre de veículos blindados leves foi o resultado do financiamento da Base Logística dos Fuzileiros Navais dos EUA, a partir de 2007, para investigar como o AR poderia ser aplicado à futura manutenção de campo de veículos militares.
EM:
O ARMAR está em uso ativo?
Steve Feiner:
ARMAR é um projeto de pesquisa e não foi implantado.
EM:
Você pode me orientar sobre a experiência do usuário ARMAR?
Steve Henderson:
O usuário pode ver cinco tipos de conteúdo aumentado apresentados na tela de uso para a cabeça:
Informações de direcionamento de atenção na forma de setas 3D e 2D, explicando a localização da próxima tarefa a ser executada.
Instruções de texto que descrevem a tarefa e as notas e avisos que as acompanham.
Rótulos registrados que mostram a localização de cada componente de destino e o contexto circundante.
Uma visão de close-up que descreve uma cena virtual 3D centrada no alvo de perto e renderizada em um painel 2D fixo na tela.
Modelos 3D de ferramentas (por exemplo, uma chave de fenda) e componentes do domínio de tarefa (por exemplo, fixadores ou componentes maiores), se aplicável, registrados em seus locais atuais ou de destino no ambiente.
EM:
Quais ferramentas e tecnologias ele emprega?
Steve Henderson:
A implementação inicial do ARMAR foi construída como um mod do motor de jogo usando o
Kit de desenvolvimento de software Valve Source
. No semestre passado, o ARMAR foi reimplementado usando
Goblin XNA
, a plataforma de código aberto do nosso laboratório para o desenvolvimento de aplicativos de realidade aumentada.
Steve Feiner:
Também tiramos proveito de uma ampla variedade de monitores para uso na cabeça e sistemas de rastreamento disponíveis no Laboratório de Computação Gráfica e Interfaces do Usuário de Columbia. Isso inclui um visor de vídeo transparente e usado na cabeça que Steve Henderson construiu especificamente para uso no projeto (usando um
Headplay
display e dois
Point Gray Firefly MV
câmeras), um
Vuzix iWear VR920
com
CamAR
visor de vídeo transparente usado para a cabeça e um
NVIS nVisor ST 60
visor ótico transparente com uso para a cabeça. As tecnologias de rastreamento que usamos incluem
InterSense IS900
e
IS1200
rastreadores híbridos,
NaturalPoint OptiTrack
Rastreamento óptico IR, e o
VTT ALVAR
pacote de rastreamento de marcador óptico.
Normalmente executamos o aplicativo e o monitor de cabeça em um PC desktop com um
Placa gráfica NVIDIA Quadro FX 4500
. Quando aplicável, executamos o NaturalPoint OptiTrack em um laptop separado. Porém, não há razão para que o aplicativo em si não possa ser executado em um laptop de última geração.
Além disso, agora existem soluções HDMI sem fio que podem ser usadas para cortar efetivamente o cabo do computador ao monitor usado na cabeça, eliminando a conexão física com os computadores.
ARMAR é um teste de pesquisa, e não um sistema de produção pronto para implantar. Portanto, somos livres para explorar diferentes combinações de tecnologias, sem ter que nos comprometer com elas como parte de uma solução chave na mão.
EM:
O vídeo mostra o que parece ser o
Celular G1
. Isso é um dispositivo de entrada?
Steve Henderson:
O telefone Android G1 é usado como um controlador de pulso que exibe um conjunto simples de controles 2D e detecta os gestos do usuário feitos na tela sensível ao toque. Os gestos são transmitidos para o computador que executa o ARMAR por meio de wi-fi. O G1 permite que o usuário se mova entre as etapas de manutenção e controle as animações explicativas que o sistema pode apresentar - iniciando e parando-as e alterando a velocidade com que jogam.
EM:
Quão pequeno você pode fazer ARMAR?
Steve Feiner:
Nossa ênfase tem sido no desenvolvimento d
e uma bancada de teste de pesquisa em que possamos projetar e avaliar formalmente a eficácia de novas maneiras de auxiliar os mecânicos no aprendizado e na execução de tarefas de manutenção. Portanto, não tivemos que nos preocupar em escolher hardware específico no qual uma implementação de qualidade de produção poderia ser colocada em campo agora, muito menos em torná-lo realmente pequeno.Dito isso, a Lei de Moore, em conjunto com o desenvolvimento competitivo de hardware e forte demanda do consumidor por dispositivos cada vez menores e mais poderosos que podem suportar jogos 3D, está reduzindo o tamanho e o custo dos dispositivos móveis em que ARMAR e seus descendentes serão capazes de corre. E a capacidade de transmitir vídeo sem fio de alta resolução também pode ajudar a eliminar a necessidade de cabos de / para o monitor usado na cabeça, permitindo que o sistema use óculos que se parecem muito com os atuais. Eles podem ser conectados sem fio a um pequeno computador do tamanho de um smartphone ou até mesmo a um computador fixo próximo, cujo tamanho se torna muito menos importante.
EM:
Algo como o ARMAR poderia ser transferido para telefones celulares? Ele poderia existir como um aplicativo?
Steve Henderson:
sim. Porém, observe que um aplicativo que usa a câmera e o display embutidos de um celular atual, seguro na mão do usuário, não acomodará muitas tarefas nas quais o mantenedor precisa dedicar as duas mãos à tarefa em si. À medida que os telefones celulares amadurecem, no entanto, acreditamos que em breve eles serão projetados para fazer interface com - ou mesmo incorporados - a óculos rastreados, tornando-os uma plataforma ideal para ARMAR.
EM:
Qual foi o aspecto mais desafiador do desenvolvimento?
Steve Henderson:
Tem sido um desafio rastrear a cabeça do usuário dentro dos limites da torre. Não temos uma réplica completa da torre em nosso laboratório e não pudemos instalar permanentemente qualquer infraestrutura de rastreamento nas torres reais onde fizemos nossos estudos.
Usando monitores de vídeo estéreo transparentes para a cabeça sob
Direct3D
também tem sido um desafio. Não há disposições explícitas para estéreo no Direct3D e o suporte formal para monitores estéreo fornecido por fornecedores de placas de vídeo não aborda a fusão de gráficos renderizados com vídeo separado do olho esquerdo e do olho direito. Tivemos a sorte de ter a NVIDIA nos fornecendo um kit de desenvolvimento de software sem suporte para lidar com isso em suas placas de vídeo.
EM:
Algo foi mais suave do que você esperava?
Steve Henderson:
Nossa recente reimplementação do ARMAR usando a estrutura GoblinXNA foi muito tranquila. Nosso projeto de protótipo inicial, que aproveitou o kit de desenvolvimento de software Valve Source, exigiu implementações personalizadas de várias funções essenciais necessárias para aplicativos de realidade aumentada (por exemplo, rastreamento e controle de câmera). GoblinXNA fornece essas funções implicitamente, o que nos permitiu gastar mais tempo no design da interface de realidade aumentada real. Além disso, a implementação do controlador de pulso foi muito simples usando o
Kit de desenvolvimento de software Android
e
Ambiente de Desenvolvimento Integrado Eclipse
.
EM:
Você vê aplicações em outras indústrias?
Steve Feiner:
Existem muitas aplicações potenciais de RA para explicar tarefas industriais, tanto em treinamento quanto em produção. Essencialmente, ele pode ser usado em qualquer domínio em que o pessoal use documentação convencional, desde manuais em papel até manuais eletrônicos baseados em computador.
EM:
E quanto ao uso do consumidor?
Steve Henderson:
Existem muitas tarefas do dia-a-dia em que os consumidores atualmente precisam consultar instruções escritas ou baseadas no computador. Pense em montar uma bicicleta ou peça de mobília, fazer uma receita complexa, instalar a fiação de um centro de entretenimento doméstico ou consertar um cortador de grama ruim. Esses são apenas alguns exemplos de tarefas em que sistemas como o ARMAR podem tornar a tarefa mais fácil e rápida de executar, e aumentar a probabilidade de que seja executada corretamente.
EM:
Se alguém quiser realizar um projeto semelhante, que orientação você daria a ele? Com o que eles devem estar atentos? Por onde eles devem começar?
Steve Feiner:
É importante estar ciente, aprender e desenvolver trabalhos anteriores e atuais relevantes. Os pesquisadores têm explorado a RA e publicado seus trabalhos por mais de 40 anos, começando com
Ivan Sutherland's
pesquisa em visores de capacete transparentes com rastreio na cabeça.
A principal conferência neste campo - o
Simpósio Internacional IEEE de Realidade Mista e Aumentada
, e seus predecessores diretos - datam de 1998. Portanto, recomendamos fortemente que alguém que deseje desenvolver um projeto semelhante (ou, nesse caso, qualquer projeto de AR) se familiarize com o que outros fizeram antes, para descobrir o que funcionou e o que não funcionou.
Também é importante ter uma relação de trabalho próxima com especialistas no assunto no campo em que o aplicativo será desenvolvido e ser capaz de executar testes de usuário com os membros da população para a qual o sistema está sendo projetado.
EM:
Qual é a próxima etapa para tornar essa tecnologia mais amplamente disponível?
Steve Feiner:
No
trabalho que relatamos no IEEE ISMAR 2009
, mostramos como o AR tornou possível localizar tarefas de manutenção para executar mais rapidamente do que a documentação eletrônica de última geração. E agora estamos nos concentrando em melhorar a velocidade e a precisão dos usuários na execução de tarefas que envolvem orientação e posicionamento de peças durante a montagem e desmontagem. Tornar as tecnologias nas quais estamos trabalhando disponíveis para outros envolverá financiamento adicional para abordar outros domínios e para fazer implementações de produção robustas do software.
