Reprogrammation Ce robot implique des milliers d'images marquant à la main qui lui montrent comment saisir ces nouvelles tasses, puis entraîner à nouveau le système.
Mais une nouvelle technique développée par les chercheurs du MIT ne nécessiterait qu'une poignée de démonstrations humaines pour reprogrammer le robot.Cette méthode d'apprentissage machine permet à un robot de ramasser et de placer des objets jamais vêtus qui sont dans des poses aléatoires qu'il n'a jamais rencontrés.Dans les 10 à 15 minutes, le robot serait prêt à effectuer une nouvelle tâche de pick-and-place.
La technique utilise un réseau de neurones spécialement conçu pour reconstruire les formes des objets 3D.Avec seulement quelques démonstrations, le système utilise ce que le réseau neuronal a appris sur la géométrie 3D pour saisir de nouveaux objets similaires à ceux des démos.
Dans les simulations et en utilisant un vrai bras robotique, les chercheurs montrent que leur système peut manipuler efficacement les tasses, les bols et les bouteilles jamais vus avant.
"Notre contribution majeure est la capacité générale de fournir beaucoup plus efficacement de nouvelles compétences aux robots qui doivent fonctionner dans des environnements plus non structurés où il pourrait y avoir beaucoup de variabilité.Le concept de généralisation par la construction est une capacité fascinante car ce problème est généralement plus difficile ", explique Anthony Simeonov, étudiant diplômé en génie électrique et en informatique (EECS) et co-auteur du journal.
advertisementSimeonov a écrit le journal avec l'auteur co-dirigé Yilun Du, un étudiant diplômé de l'EECS;Andrea Tagliasacchi, chercheur du personnel chez Google Brain;Joshua B.Tenenbaum, le Paul E.Professeur de développement de carrière de Newton de sciences cognitives et de calcul au Département du cerveau et des sciences cognitives et membre du Laboratoire d'intelligence informatique et d'intelligence artificielle (CSAIL);Alberto Rodriguez, professeur agrégé de 1957 au Département de génie mécanique;et les auteurs principaux Pulkit Agrawal, professeur à CSAIL, et Vincent Sitzmann, professeur adjoint entrant en CEE.La recherche sera présentée à la Conférence internationale sur la robotique et l'automatisation.
Grasing Geométrie
Un robot peut être formé pour ramasser un élément spécifique, mais si cet objet est situé sur le côté (peut-être qu'il est tombé), le robot voit cela comme un scénario complètement nouveau.C'est une des raisons pour lesquelles il est si difficile pour les systèmes d'apprentissage automatique de se généraliser aux nouvelles orientations d'objets.
Pour surmonter ce défi, les chercheurs ont créé un nouveau type de modèle de réseau neuronal, un champ de descripteur neuronal (NDF), qui apprend la géométrie 3D d'une classe d'éléments.Le modèle calcule la représentation géométrique pour un élément spécifique à l'aide d'un nuage de points 3D, qui est un ensemble de points de données ou de coordonnées en trois dimensions.Les points de données peuvent être obtenus à partir d'une caméra en profondeur qui fournit des informations sur la distance entre l'objet et un point de vue.Alors que le réseau a été formé à la simulation sur un grand ensemble de données de formes 3D synthétiques, elle peut être directement appliquée aux objets dans le monde réel.
L'équipe a conçu le NDF avec une propriété connue sous le nom d'équivariance.Avec cette propriété, si le modèle est montré une image d'une tasse verticale, puis a montré une image de la même tasse sur le côté, il comprend que la deuxième tasse est le même objet, juste tourné.
advertisement"Cette équivariance est ce qui nous permet de gérer beaucoup plus efficacement les cas où l'objet que vous observez est dans une orientation arbitraire", explique Simeonov.
Comme le NDF apprend à reconstruire les formes d'objets similaires, il apprend également à associer des parties connexes de ces objets.Par exemple, il apprend que les poignées de tasses sont similaires, même si certaines tasses sont plus grandes ou plus larges que d'autres, ou ont des poignées plus petites ou plus longues.
"Si vous vouliez faire cela avec une autre approche, vous devrez étiqueter toutes les pièces.Au lieu de cela, notre approche découvre automatiquement ces pièces de la reconstruction de forme ", dit Du.
Les chercheurs utilisent ce modèle NDF formé pour enseigner à un robot une nouvelle compétence avec seulement quelques exemples physiques.Ils déplacent la main du robot sur la partie d'un objet qu'ils veulent qu'il saisit, comme le bord d'un bol ou la poignée d'une tasse, et enregistrent les emplacements du bout des doigts.
Parce que le NDF a tellement appris sur la géométrie 3D et comment reconstruire les formes, elle peut déduire la structure d'une nouvelle forme, ce qui permet au système de transférer les démonstrations vers de nouveaux objets dans des poses arbitraires, explique Du.
Choisir un gagnant
Ils ont testé leur modèle dans des simulations et sur un vrai bras robotique à l'aide de tasses, de bols et de bouteilles comme objets.Leur méthode avait un taux de réussite de 85% sur les tâches de pick-and-place avec de nouveaux objets dans de nouvelles orientations, tandis que la meilleure base de référence n'a été en mesure d'atteindre un taux de réussite de 45%.Le succès signifie saisir un nouvel objet et le placer sur un emplacement cible, comme suspendre des tasses sur un rack.
De nombreuses lignes de base utilisent des informations d'image 2D plutôt que la géométrie 3D, ce qui rend plus difficile pour ces méthodes d'intégrer l'équivariance.C'est une des raisons pour lesquelles la technique NDF a fonctionné tellement mieux.
Alors que les chercheurs étaient satisfaits de ses performances, leur méthode ne fonctionne que pour la catégorie d'objets particuliers sur laquelle il est formé.Un robot enseigné à ramasser des tasses ne pourra pas ramasser des boîtes ou des écouteurs, car ces objets ont des fonctionnalités géométriques trop différentes de ce sur quoi le réseau a été formé.
"Dans le futur, le faire évoluer jusqu'à de nombreuses catégories ou laisser complètement la notion de catégorie serait idéal", dit Simeonov.
Ils prévoient également d'adapter le système pour les objets non rigides et, à plus long terme, permettent au système d'effectuer des tâches de pick-and-place lorsque la zone cible change.
Ce travail est soutenu, en partie, par la Defense Advanced Research Projects Agency, la Singapore Defence Science and Technology Agency et la National Science Foundation.
