Prototyp nazvaný „Typealike“ funguje prostřednictvím běžné přenosné webové kamery s jednoduchým připevněným zrcadlem. Program rozpozná ruce uživatele vedle klávesnice nebo v její blízkosti a vyzve k operacím na základě různých poloh rukou.
Uživatel by například mohl položit pravou ruku s palcem nahoru vedle klávesnice a program by to rozpoznal jako signál ke zvýšení hlasitosti. Různá gesta a různé kombinace gest lze naprogramovat k provádění široké škály operací.
Inovace v oblasti interakce mezi člověkem a počítačem si klade za cíl zrychlit a zpřehlednit uživatelské prostředí s menší potřebou klávesových zkratek nebo práce s myší a trackpadem.
"Začalo to jednoduchým nápadem na nové způsoby použití webové kamery," řekl Nalin Chhibber, čerstvý absolvent magisterského studia Cheriton School of Computer Science na University of Waterloo. "Webová kamera je namířena na váš obličej, ale nejvíce interakce na počítači probíhá kolem vašich rukou. Tak jsme si řekli, co bychom mohli dělat, kdyby webová kamera dokázala snímat gesta rukou?"
Počáteční poznatky vedly k vývoji malého mechanického nástavce, který přesměruje webovou kameru dolů k rukám. Tým poté vytvořil softwarový program schopný porozumět různým gestům rukou v různých podmínkách a pro různé uživatele. Tým použil techniky strojového učení k trénování programu Typealike.
"Je to neuronová síť, takže musíte ukázat příklady algoritmů toho, co se snažíte detekovat," řekl Fabrice Matulic, vedoucí výzkumný pracovník společnosti Preferred Networks Inc. a bývalý postdoktorandský výzkumný pracovník ve Waterloo. "Někteří lidé budou dělat gesta trochu jinak a ruce se liší velikostí, takže musíte sbírat spoustu dat od různých lidí s různými světelnými podmínkami."
Tým zaznamenal databázi gest rukou s desítkami výzkumných dobrovolníků. Nechali také dobrovolníky, aby provedli testy a průzkumy, aby pomohli týmu pochopit, jak udělat program co nejfunkčnější a nejuniverzálnější.
"Vždycky se snažíme vyrábět věci, které mohou lidé snadno používat," řekl Daniel Vogel, docent informatiky na Waterloo. "Lidé se dívají na něco jako Typealike nebo jinou novou technologii v oblasti interakce člověk-počítač a říkají, že to prostě dává smysl. To je to, co chceme. Chceme vytvořit technologii, která je intuitivní a přímočará, ale někdy to vyžaduje spoustu složitého výzkumu a sofistikovaného softwaru.“
Výzkumníci tvrdí, že existují další aplikace pro program Typealike ve virtuální realitě, kde by mohl eliminovat potřebu ručních ovladačů.
