С валят поръчки от електронната търговия, складов робот взима чаши от рафта и ги поставя в кутии за изпращане. Всичко си тананика, докато складът не обработи промяна и роботът сега трябва да хване по-високи, по-тесни чаши, които се съхраняват с главата надолу.
Препрограмирането на този робот включва ръчно етикетиране на хиляди изображения, които му показват как да хваща тези нови чаши, след което обучава системата отначало.
Но нова техника, разработена от изследователи от Масачузетския технологичен институт, ще изисква само няколко човешки демонстрации, за да препрограмира робота. Този метод на машинно обучение позволява на робот да вземе и постави невиждани досега обекти, които са в произволни пози, които никога не е срещал. В рамките на 10 до 15 минути роботът ще бъде готов да изпълни нова задача за вземане и поставяне.
Техниката използва невронна мрежа, специално проектирана да реконструира формите на 3D обекти. Само с няколко демонстрации системата използва това, което невронната мрежа е научила за 3D геометрията, за да схване нови обекти, които са подобни на тези в демонстрациите.
Със симулации и с помощта на истинска роботизирана ръка, изследователите показват, че тяхната система може ефективно да манипулира невиждани досега чаши, купи и бутилки, подредени в произволни пози, като използва само 10 демонстрации, за да научи робота.
„Нашият основен принос е общата способност да предоставяме много по-ефективно нови умения на роботи, които трябва да работят в по-неструктурирани среди, където може да има много променливост. Концепцията за обобщение чрез конструиране е очарователна способност, защото този проблем обикновено е много по-труден“, казва Антъни Симеонов, завършил студент по електротехника и компютърни науки (EECS) и съавтор на статията.
Симеонов написа доклада със съ-водещ автор Yilun Du, студент по EECS; Андреа Талиасачи, научен сътрудник в Google Brain; Джошуа Б. Тененбаум, професор по кариерно развитие на Пол Е. Нютон по когнитивни науки и изчисления в Департамента по мозъчни и когнитивни науки и член на Лабораторията по компютърни науки и изкуствен интелект (CSAIL); Алберто Родригес, доцент от випуск 1957 г. в катедрата по машинно инженерство; и старши автори Pulkit Agrawal, професор в CSAIL, и Vincent Sitzmann, входящ асистент професор в EECS. Изследването ще бъде представено на Международната конференция по роботика и автоматизация.
Хващаща геометрия
Роботът може да бъде обучен да вземе конкретен предмет, но ако този обект лежи настрани (може би е паднал), роботът вижда това като напълно нов сценарий. Това е една от причините за системите за машинно обучение да е толкова трудно да се обобщят към нови обектни ориентации.
За да преодолеят това предизвикателство, изследователите създадоха нов тип модел на невронна мрежа, невронно дескрипторно поле (NDF), което научава 3D геометрията на клас елементи. Моделът изчислява геометричното представяне за конкретен елемент с помощта на 3D облак от точки, който е набор от точки от данни или координати в три измерения. Точките с данни могат да бъдат получени от камера за дълбочина, която предоставя информация за разстоянието между обекта и гледна точка. Въпреки че мрежата беше обучена в симулация върху голям набор от данни от синтетични 3D форми, тя може да бъде директно приложена към обекти в реалния свят.
Екипът е проектирал NDF със свойство, известно като еквивариантност. С това свойство, ако на модела се покаже изображение на изправена чаша и след това се покаже изображение на същата чаша отстрани, той разбира, че втората чаша е същият обект, само че е завъртян.
„Тази еквивариантност е това, което ни позволява много по-ефективно да се справяме със случаите, когато обектът, който наблюдавате, е в произволна ориентация“, казва Симеонов.
Докато NDF се научава да реконструира форми на подобни обекти, той също се научава да свързва свързани части от тези обекти. Например, то научава, че дръжките на чашите са подобни, дори ако някои чаши са по-високи или по-широки от други, или имат по-малки или по-дълги дръжки.
„Ако искате да направите това с друг подход, ще трябва да маркирате ръчно всички части. Вместо това нашият подход автоматично открива тези части от реконструкцията на формата“, казва Ду.
Изследователите използват този обучен NDF модел, за да научат робот на ново умение само с няколко физически примера. Те преместват ръката на робота върху частта от предмет, който искат да хване, като ръба на купа или дръжка на чаша, и записват местоположението на върховете на пръстите.
Тъй като NDF е научил толкова много за 3D геометрията и как да реконструира форми, той може да изведе структурата на нова форма, което позволява на системата да прехвърли демонстрациите към нови обекти в произволни пози, обяснява Ду.
Избиране на победител
Те тестваха модела си в симулации и върху истинска роботизирана ръка, използвайки чаши, купи и бутилки като обекти. Техният метод имаше процент на успеваемост от 85 процента при задачи за избиране и поставяне с нови обекти в нови ориентации, докато най-добрата базова линия успя да постигне само успех от 45 процента. Успехът означава да хванете нов предмет и да го поставите на целево място, като висящи чаши на стелаж.
Много базови линии използват информация за 2D изображение, а не 3D геометрия, което прави по-трудно за тези методи да интегрират еквивариантността. Това е една от причините NDF техниката да се представи много по-добре.
Въпреки че изследователите бяха доволни от представянето му, техният метод работи само за конкретната категория обекти, върху които се обучава. Робот, научен да вдига чаши, няма да може да вдига кутии или слушалки, тъй като тези обекти имат геометрични характеристики, които са твърде различни от това, на което е била обучена мрежата.
„В бъдеще би било идеално разширяването му до много категории или пълното изоставяне на понятието категория като цяло“, казва Симеонов.
Те също планират да адаптират системата за нетвърди обекти и в по-дългосрочен план да позволят на системата да изпълнява задачи за избиране и поставяне, когато целевата област се промени.
Тази работа се подкрепя отчасти от Агенцията за напреднали изследователски проекти на отбраната, Агенцията за отбранителна наука и технологии в Сингапур и Националната научна фондация.
###
Написано от Adam Zewe, News Office на MIT
Документ: „Невронни дескрипторни полета: SE(3)-еквивариантни обектни представяния за манипулиране“
https://arxiv.org/pdf/2112.05124.pdf
Уеб страница на проекта
https://yilundu.github.io/ndf/
Заглавие на статия
„Невронни дескрипторни полета: SE(3)-еквивариантни обектни представяния за манипулиране“
