Agrandir
/
La mascotte Android portant le Vive. Nous ne savons pas encore à quoi ressemblera le matériel.
Ron Amadeo
commentaires des lecteurs
27
avec 17 affiches participantes
Partagez cette histoire
Partager sur Facebook
Partager sur Twitter
Partager sur Reddit
MOUNTAIN VIEW, Californie—Comme nous l'avons été
obsessionnellement
suivi
pour environ
un an et demi
maintenant, Google fait un grand pas dans la réalité virtuelle. Cette semaine à l'I/O 2016, la société est enfin prête à parler de ses ambitions VR, et la première nouvelle concerne le "Virtual Reality Mode" intégré à Android N Developer Preview 3. Google annonce également un matériel programme de certification qui permet à un téléphone Android de gagner le titre « prêt pour la VR » et le premier téléphone « prêt pour la VR » sera le Nexus 6P.
Google a fait beaucoup de travail pour mettre Android en forme pour la réalité virtuelle avec Android N DP 3. Auparavant, le seul projet de réalité virtuelle pour smartphone de Google était "
Papier carton
", une boîte en carton avec des lentilles en plastique pouvant contenir un smartphone. Le carton a donné une approximation approximative de la réalité virtuelle à un coût très bas, mais
ce n'était pas une plate-forme sérieuse
pour une véritable immersion VR.
"Google a actuellement Cardboard, mais Cardboard a fonctionné malgré Android, si vous le souhaitez", a expliqué Dave Burke, vice-président de l'ingénierie d'Android, à Ars. "C'est intelligent et simple mais nous n'avons jamais rien fait au niveau de la plate-forme pour que cela fonctionne. Avec N, nous l'avons fait." Dans Android N, ces changements se résument à l'amélioration de la latence du mouvement au photon - à quelle vitesse vous pouvez faire changer les pixels d'affichage en réponse au mouvement de votre tête. Lorsque vous vous déplacez en VR, les capteurs détectent le mouvement, signalent au GPU de dessiner de nouvelles images, et ces images sont envoyées à l'écran pour être dessinées. Si cela ne se produit pas assez vite, vous vous sentirez malade.
Lectures complémentaires
À quelle vitesse la « réalité virtuelle » doit-elle ressembler à la « réalité réelle » ?
Lorsqu'il est utilisé avec un appareil certifié, Android N peut basculer dans un "mode VR" à faible latence, qui augmente l'ensemble du pipeline de traitement. Un « mode de performance exclusif »—qui
nous avons repéré dans N Preview 2
- consacre un cœur de processeur au thread de l'interface utilisateur pour essayer d'éviter les hoquets provoquant des nausées lors d'un traitement intensif. Les voies du capteur de mouvement ont également été réglées, de sorte qu'Android N obtiendra des mises à jour plus rapides du gyroscope et de l'accéléromètre.
Décalage de cadre
Sous Android, le GPU transmet normalement des images à l'écran en mode « double mise en mémoire tampon ». Cela a l'écran d'affichage "Frame A" tandis qu'il dessine "Frame B" dans un tampon de trame intermédiaire. Lorsque vient le temps du prochain rafraîchissement de l'affichage (cela se produit 60 fois par seconde), l'affichage supprime "Frame A" et extrait "Frame B" du tampon de trame. Le double tampon empêche les phénomènes visuels indésirables connus sous le nom de "
déchirure d'écran
, " mais l'étape supplémentaire consistant à dessiner dans le tampon de trame retarde les données de trame - vous êtes une trame plus lente que vous ne pourriez l'être.
En mode VR, Android N passe à la mise en mémoire tampon unique. Cela saute le tampon de trame intermédiaire et dessine les données de trame directement sur l'écran, ce qui est le moyen le plus rapide d'obtenir de nouveaux pixels à l'écran. La partie délicate est que le rafraîchissement de l'image GPU doit parfaitement se synchroniser avec le propre cycle de rafraîchissement de l'écran, sinon vous obtiendrez plus de déchirure d'écran - un mélange de l'image A avec l'image B, ce qui donne l'impression que l'image a été coupée en deux. Un écran remplit les pixels ligne par ligne et, comme le dit Burke, vous "poursuivez les lignes de balayage" de l'écran avec le GPU lors de la mise en mémoire tampon unique. Il n'y a pas de place pour les ralentissements ou l'image en souffre.
Publicité
Le mode VR ajoute également une "stabilisation de l'affichage électronique" (AKA "
Déformation du temps
") au mix. Dans un pipeline de rendu d'image VR normal, la position de la tête de l'utilisateur est mesurée, la caméra virtuelle du jeu est pointée vers une position correspondante et l'image est rendue en conséquence. Sur Android N, cela se produit 60 fois une seconde, vous avez donc 16 ms pour obtenir le rendu de l'image et l'afficher. Le problème est que la position de la tête a été mesurée au début du processus de rendu de l'image, et à la fin, elle est obsolète de 16 ms. améliore cela en prenant le cadre fini, en mesurant le mouvement de la tête qui s'est produit au cours de ces 16 ms et en transformant un tout petit peu le cadre fini pour qu'il corresponde. Cette transformation n'est pas parfaite, mais lorsque vous ne vous déplacez que sur une petite distance, c'est un outil utile « triche » qui réduit la latence perçue.
Le résultat final de tout ce travail ? Pour le Nexus 6P sur Android 6.0 Marshmallow, la latence mouvement-photon était supérieure à 100 ms. Sur Android N, il a été réduit à environ un cinquième : moins de 20 ms. Cela devrait mettre le casque avec le 6P dans la même ligue que le Gear VR, qui est annoncé comme ayant "
moins de 20 ms
" Latence mouve
ment-photon.Certaines parties de l'interface utilisateur du système Android sont mises à jour pour fonctionner également en VR. Si vous êtes dans une application VR et qu'une notification arrive, les notifications d'Android seront rendues en stéréo afin qu'elles puissent apparaître de manière transparente dans l'environnement VR. Et cela ne s'arrêtera pas avec les notifications : Dave Burke nous a dit que Google avait l'intention de mettre à jour encore plus l'interface utilisateur Android pour qu'elle soit compatible avec la réalité virtuelle. "Pour ce que nous lançons avec N, c'est juste un mode VR, donc c'est à l'application de faire quelque chose", a déclaré Burke. "Et puis à l'avenir, nous aurons une maison VR, comme un lanceur."
Certification de smartphone « VR Ready » de Google
La VR à latence courte du photon au mouvement nécessite que le matériel et les logiciels fonctionnent ensemble, donc Google transmettra les exigences aux OEM qui garantiront que leurs appareils fonctionneront avec le nouveau mode VR d'Android. Ce sera une toute nouvelle section du
Document de définition de compatibilité Android
avec des exigences et des tests pour garantir que le téléphone d'un OEM sera conforme aux exigences VR de Google.
Pour l'instant, seul le Nexus 6P fait la coupe "VR Ready". Le Nexus 5X n'est pas éligible pour une raison très importante : il dispose d'un écran LCD. Les écrans AMOLED sont obligatoires.
Un écran LCD fonctionne en utilisant une spirale de cristaux liquides pour contrôler le flux lumineux entre une paire de polariseurs. L'application d'électricité à la spirale LCD les fait se redresser, ce qui, lorsqu'il est combiné avec les couches polarisantes, fonctionne pour éteindre la lumière (les cristaux torsadés bloquent la lumière) ou allumer (les cristaux droits s'alignent avec le polariseur et laissent passer la lumière). La torsion et la détorsion de ces cristaux prend du temps, appelé « temps de réponse » et est généralement mesuré en millisecondes. Les AMOLED ne sont littéralement qu'un tas de minuscules LED - des diodes électroluminescentes organiques à matrice active, rappelez-vous - donc les allumer et les éteindre est une question beaucoup plus rapide d'appliquer et de supprimer simplement le courant.
Publicité
Le programme VR de Google impose les AMOLED en raison de leur temps de réponse beaucoup plus rapide des pixels. Cela réduit le flou de mouvement, ce qui est essentiel lorsque vous tournez la tête en VR. Quand est venu le temps de choisir des écrans pour l'Oculus Rift et le HTC Vive, ces sociétés ont également opté pour AMOLED - les écrans LCD ne sont tout simplement pas faits pour la VR. Cependant, contrairement aux casques VR grand public actuels, les écrans Android ne fonctionnent toujours qu'à 60 Hz. C'est nettement plus lent que les taux de rafraîchissement de 90 Hz de l'Oculus Rift et du HTC Vive.
Démocratiser les appareils de type Gear VR
Agrandir
La majeure partie de cela semble suivre le chemin tracé par Oculus et Samsung avec le Gear VR. C'est formidable de voir cette liste d'améliorations, puis de regarder
cette conférence Oculus Connect 2013
du légendaire développeur John Carmack. Dans la conférence, Carmack détaille les différents hacks qu'il a effectués pour améliorer le Gear VR, qui à l'époque ne fonctionnait que sur le Galaxy Note 4.
Lectures complémentaires
Le nouveau Gear VR prouve que la réalité virtuelle est enfin prête pour le consommateur
Par exemple, Carmack explique comment il avait besoin de réduire le pipeline graphique à triple mise en mémoire tampon d'Android à quelque chose de plus rapide et comment il avait besoin d'un mode hautes performances qui désactivait de nombreuses fonctionnalités d'économie d'énergie. Il raconte comment il
pratiquement inventé
Time Warp pour la réalité virtuelle moderne. Pour la première exécution du Gear VR, Carmack a décrit ce processus de développement comme étant celui d'une "console de jeu", car Oculus ne visait qu'un seul appareil, le Note 4. L'intégration par Google d'améliorations similaires directement dans Android devrait ouvrir les vannes VR. pour le reste de l'écosystème Android. Il y aura désormais une norme que tous les fabricants de smartphones pourront suivre pour fabriquer un téléphone compatible VR. Et, comme cela fait partie d'Android, tout est open source. Cela entraînera probablement une tonne de concurrents Gear VR, mais cela devrait également aider Samsung et Oculus à améliorer leurs produits.
Maintenant que le logiciel Android est équipé pour produire une VR décente, il ne nous reste plus qu'à nous installer et à attendre le matériel. Google ne peut certainement pas s'attendre à ce que les utilisateurs continuent à utiliser une boîte en carton, n'est-ce pas ? Nous n'avons pas encore de détails sur un casque "Google VR", mais nous garderons les yeux ouverts sur le spectacle.
La marque de l'utilisateur final pour tout cela sera "Daydream". Le matériel capable de prendre en charge la réalité virtuelle sera étiqueté "Daydream-ready", toutes les principales sociétés de téléphones portables prévoyant des appareils compatibles Daydream. Les applications Daydream auront une boutique Daydream spéciale, et Google promet de prendre en charge Google Play Movies, Street View, YouTube et Photos en VR.
