La plupart des manuels d'utilisation ne valent rien. Ils regorgent de textes mal écrits et de schémas déroutants. Pire encore, l'écart entre le problème et la solution est vaste car nous sommes obligés d'appliquer un format linéaire (un guide) à une question spécifique. Où se trouve un champ de recherche lorsque vous en avez besoin ?
Mais voici une idée : et si au lieu de feuilleter des pages ou de faire défiler un manuel en ligne, vous pouviez simplement
voir
votre chemin à travers une tâche? Enfilez simplement un casque et suivez un peu d'éducation personnalisée en réalité augmentée.
Apprenez plus vite. Creusez plus profondément. Voir plus loin.
Rejoignez la plateforme d'apprentissage en ligne O'Reilly. Obtenez un essai gratuit aujourd'hui et trouvez des réponses à la volée, ou maîtrisez quelque chose de nouveau et d'utile.
Apprendre encore plus
C'est ce que le professeur d'informatique de l'Université Columbia
Steve Feiner
et Ph.D. candidat
Steve Henderson
essaient de faire avec leur
Réalité augmentée pour la maintenance et la réparation
(ARMAR). Ils combinent des capteurs, des écrans portés sur la tête et des instructions pour répondre aux besoins de maintenance de l'armée. Jeter un coup d'œil à
cette vidéo de projet
et vous verrez rapidement comment une même application peut s'étendre à toutes sortes de cas d'utilisation :
Dans les questions-réponses suivantes, Feiner et Henderson discutent de la genèse d'ARMAR et de ses applications pratiques. Ils offrent également quelques conseils à tous ceux qui souhaitent développer leur propre projet pédagogique basé sur la RA.
Mac Slocum :
Qu'est-ce qui a inspiré ARMAR ?
Steve Feiner :
ARMAR s'est inspiré en partie de projets de recherche antérieurs que nous avons menés en
Laboratoire d'infographie et d'interfaces utilisateur de Columbia
, en étudiant comment la réalité augmentée pourrait être utilisée pour les tâches de maintenance et d'assemblage.
Ce travail remonte à 1991, lorsque nous avons commencé à travailler sur
KARMA
(Réalité augmentée basée sur la connaissance pour l'assistance à la maintenance). Les premiers travaux sur ARMAR lui-même ont commencé en 2006, avec un financement initial du US Air Force Research Lab, lorsque Steve Henderson a commencé son doctorat. études à Columbia.
Notre domaine d'application de la
VBL-25
La tourelle de véhicule blindé léger est le résultat d'un financement de la base logistique du Corps des Marines des États-Unis, à partir de 2007, pour étudier comment la RA pourrait être appliquée à la future maintenance sur le terrain des véhicules militaires.
MME:
ARMAR est-il en cours d'utilisation ?
Steve Feiner :
ARMAR est un projet de recherche et n'a pas été déployé.
MME:
Pouvez-vous m'expliquer l'expérience utilisateur ARMAR ?
Steve Henderson :
L'utilisateur peut voir cinq types de contenus augmentés présentés sur l'écran serre-tête transparent :
Informations attirant l'attention sous forme de flèches 3D et 2D, expliquant l'emplacement de la prochaine tâche à effectuer.
Instructions textuelles décrivant la tâche et les notes et avertissements qui l'accompagnent.
Étiquettes enregistrées indiquant l'emplacement de chaque composant cible et le contexte environnant.
Une vue rapprochée représentant une scène virtuelle 3D centrée sur la cible à courte distance et rendue sur un panneau 2D fixé à l'écran.
Modèles 3D d'outils (par exemple un tournevis) et de composants de domaine de tâche (par exemple, des fixations ou des composants plus gros), le cas échéant, enregistrés à leurs emplacements actuels ou cibles dans l'environnement.
MME:
Quels outils et technologies utilise-t-il ?
Steve Henderson :
La mise en œuvre initiale d'ARMAR a été conçue comme un mod de moteur de jeu utilisant le
Kit de développement logiciel Valve Source
. Au cours du dernier semestre, ARMAR a été réimplémenté en utilisant
Gobelin XNA
, la plate-forme open source de notre laboratoire pour le développement d'applications de réalité augmentée.
Steve Feiner :
Nous profitons également d'une large gamme d'écrans portés sur la tête et de systèmes de suivi disponibles dans le laboratoire d'infographie et d'interfaces utilisateur de Columbia. Il s'agit notamment d'un visiocasque transparent vidéo personnalisé que Steve Henderson a conçu spécifiquement pour être utilisé dans le projet (à l'aide d'un
Jeu de tête
affichage et deux
Point Grey Firefly MV
caméras), un
Vuzix iWear VR920
avec
CamAR
visière vidéo transparente et un
NVIS nVisor ST 60
affichage optique sur la tête transparent. Les technologies de suivi que nous utilisons comprennent
InterSense IS900
et
IS1200
traqueurs hybrides,
NaturalPoint OptiTrack
Suivi optique IR, et le
VTT ALVAR
paquet de suivi de marqueur optique.
Nous exécutons généralement l'application et le serre-tête sur un ordinateur de bureau avec un
Carte graphique NVIDIA Quadro FX 4500
. Le cas échéant, nous exécutons NaturalPoint OptiTrack sur un ordinateur portable séparé. Mais, il n'y a aucune raison pour que l'application elle-même ne puisse pas fonctionner sur un ordinateur portable haut de gamme.
En outre, il existe désormais des solutions HDMI sans fil qui pourraient être utilisées pour couper efficacement le câble entre l'ordinateur et l'écran serre-tête, éliminant ainsi la connexion physique aux ordinateurs.
ARMAR est un banc d'essai de recherche, et non un système de production prêt à déployer. Ainsi, nous sommes libres d'explorer différentes combinaisons de technologies, sans avoir à nous y engager dans le cadre d'une solution clé en main.
MME:
La vidéo montre ce qui semble être le
téléphone portable G1
. C'est un périphérique d'entrée ?
Steve Henderson :
Le téléphone Android G1 est utilisé comme un contrôleur porté au poignet qui affiche un ensemble simple de commandes 2D et détecte les gestes de l'utilisateur effectués sur l'écran tactile. Les gestes sont transmis à l'ordinateur exécutant ARMAR via le Wi-Fi. Le G1 permet à l'utilisateur de se déplacer entre les étapes de maintenance et de contrôler les animations explicatives que le système peut présenter - les démarrer et les arrêter, et modifier la vitesse à laquelle ils jouent.
MME:
Comment petit pouvez-vous faire ARMAR?
Steve Feiner :
Nous avons mis l'accent sur le développement d'un banc d'essai de recherche dans lequel nous pouvons concevoir et évaluer formellement l'efficacité de nouvelles façons d'aider les mécaniciens à apprendre et à effectuer des tâches de maintenance. Par conséquent, nous n'avons pas eu à nous
soucier de choisir du matériel spécifique sur lequel une implémentation de qualité de production pourrait être mise en œuvre dès maintenant, sans parler de le rendre vraiment petit.Cela dit, la loi de Moore, de concert avec le développement de matériel concurrentiel et la forte demande des consommateurs pour des appareils toujours plus petits et plus puissants pouvant prendre en charge les jeux 3D, réduit la taille et le coût des appareils mobiles sur lesquels ARMAR et ses descendants pourront Cours. Et, la capacité de transmission de vidéo haute résolution sans fil pourrait également aider à éliminer le besoin de câbles vers/depuis l'écran porté sur la tête, permettant éventuellement au système d'utiliser des lunettes qui ressemblent beaucoup aux lunettes actuelles. Ceux-ci pourraient être connectés sans fil à un petit ordinateur portable de la taille d'un smartphone, ou même à un ordinateur fixe à proximité dont la taille devient alors beaucoup moins importante.
MME:
Quelque chose comme ARMAR pourrait-il être porté sur les téléphones portables ? Pourrait-il exister en tant qu'application ?
Steve Henderson :
Oui. Cependant, notez qu'une application qui utilisait l'appareil photo et l'écran intégrés d'un téléphone mobile actuel, tenu dans la main de l'utilisateur, ne s'adaptera pas à de nombreuses tâches dans lesquelles le mainteneur doit consacrer les deux mains à la tâche elle-même. Cependant, à mesure que les téléphones portables arriveront à maturité, nous pensons qu'ils seront bientôt conçus pour s'interfacer avec - ou même être intégrés - aux lunettes à chenilles, ce qui en fait une plate-forme idéale pour ARMAR.
MME:
Quel a été l'aspect le plus difficile du développement ?
Steve Henderson :
Il a été difficile de suivre la tête de l'utilisateur dans les limites exiguës de la tourelle. Nous n'avons pas de réplique complète de la tourelle dans notre laboratoire et n'avons pas été en mesure d'installer de façon permanente une infrastructure de suivi dans les tourelles réelles où nous avons effectué nos études.
Utilisation d'écrans vidéo stéréo transparents sur la tête sous
Direct3D
a également été un défi. Il n'y a pas de dispositions explicites pour la stéréo dans Direct3D et la prise en charge formelle des affichages stéréo fournie par les fournisseurs de cartes graphiques ne traite pas de la fusion des graphiques rendus avec des vidéos séparées pour l'œil gauche et l'œil droit. Nous avons eu la chance que NVIDIA nous fournisse un kit de développement logiciel non pris en charge pour gérer cela sur leurs cartes graphiques.
MME:
Est-ce que quelque chose s'est passé plus facilement que prévu ?
Steve Henderson :
Notre récente réimplémentation d'ARMAR à l'aide du framework GoblinXNA s'est très bien déroulée. La conception initiale de notre prototype, qui s'appuyait sur le kit de développement logiciel Valve Source, nécessitait des implémentations personnalisées de plusieurs fonctions essentielles requises pour les applications de réalité augmentée (par exemple, le suivi et le contrôle de la caméra). GoblinXNA fournit ces fonctions de manière implicite, ce qui nous a permis de passer plus de temps sur la conception de l'interface de réalité augmentée actuelle. De plus, la mise en œuvre du contrôleur porté au poignet a été très simple en utilisant le
Kit de développement logiciel Android
et
Environnement de développement intégré Eclipse
.
MME:
Voyez-vous des applications dans d'autres secteurs ?
Steve Feiner :
Il existe de nombreuses applications potentielles de la RA pour expliquer les tâches industrielles, à la fois dans la formation et la production. Essentiellement, il pourrait être utilisé dans n'importe quel domaine dans lequel le personnel utilise une documentation conventionnelle, allant des manuels papier aux manuels électroniques informatisés.
MME:
Qu'en est-il de l'utilisation par les consommateurs ?
Steve Henderson :
Il existe de nombreuses tâches quotidiennes pour lesquelles les consommateurs doivent actuellement consulter des instructions écrites ou informatisées. Pensez à assembler un vélo ou un meuble, à faire une recette complexe, à câbler un centre de divertissement à domicile ou à réparer une tondeuse à gazon. Ce ne sont là que quelques exemples de tâches dans lesquelles des systèmes comme ARMAR pourraient rendre la tâche plus facile et plus rapide à effectuer, et augmenter la probabilité qu'elle soit exécutée correctement.
MME:
Si quelqu'un souhaite poursuivre un projet similaire, quels conseils lui donneriez-vous ? A quoi doivent-ils faire attention ? Par où commencer ?
Steve Feiner :
Il est important d'être conscient des travaux en cours et passés pertinents, d'en tirer des leçons et de s'en inspirer. Les chercheurs explorent la RA et publient leurs travaux depuis plus de 40 ans, en commençant par
d'Ivan Sutherland
la recherche sur les écrans portés par la tête transparents suivis par la tête.
La conférence leader dans ce domaine — la
Symposium international IEEE sur la réalité mixte et augmentée
, et ses prédécesseurs directs — remonte à 1998. Ainsi, nous recommandons fortement à quelqu'un qui souhaite développer un projet similaire (ou, d'ailleurs, n'importe quel projet AR) de se familiariser avec ce que d'autres ont fait auparavant, pour savoir ce que a fonctionné et ce qui n'a pas fonctionné.
Il est également important d'avoir une relation de travail étroite avec des experts en la matière dans le domaine dans lequel l'application sera développée et de pouvoir effectuer des tests utilisateurs avec les membres de la population pour lesquels le système est conçu.
MME:
Quelle est la prochaine étape pour rendre cette technologie plus largement disponible ?
Steve Feiner :
Dans le
travail dont nous avons fait rapport à IEEE ISMAR 2009
, nous avons montré comment la RA permettait de localiser les tâches de maintenance à effectuer plus rapidement qu'une documentation électronique de pointe. De plus, nous nous concentrons désormais sur l'amélioration de la vitesse et de la précision des utilisateurs dans l'exécution de tâches impliquant l'orientation et le positionnement de pièces lors de l'assemblage et du démontage. Rendre les technologies sur lesquelles nous travaillons disponibles à d'autres impliquera un financement supplémentaire pour aborder d'autres domaines et pour réaliser des implémentations de production robustes du logiciel.
