O protótipo, chamado "Typealike", funciona através de uma webcam comum de laptop com um simples espelho afixado. O programa reconhece as mãos do usuário ao lado ou perto do teclado e solicita operações com base em diferentes posições das mãos.
Um usuário poderia, por exemplo, colocar a mão direita com o polegar apontando para cima ao lado do teclado, e o programa reconheceria isso como um sinal para aumentar o volume. Diferentes gestos e diferentes combinações de gestos podem ser programados para realizar uma ampla gama de operações.
A inovação no campo da interação humano-computador visa tornar a experiência do usuário mais rápida e suave, com menos necessidade de atalhos de teclado ou de trabalho com mouse e trackpad.
"Tudo começou com uma ideia simples sobre novas maneiras de usar uma webcam", disse Nalin Chhibber, recém-formado em mestrado pela Cheriton School of Computer Science da Universidade de Waterloo. "A webcam está apontada para o seu rosto, mas a maior parte da interação que acontece em um computador está em torno de suas mãos. Então pensamos, o que poderíamos fazer se a webcam pudesse captar gestos das mãos?"
O insight inicial levou ao desenvolvimento de um pequeno acessório mecânico que redireciona a webcam para baixo em direção às mãos. A equipe então criou um programa de software capaz de entender gestos de mão distintos em condições variáveis e para diferentes usuários. A equipe usou técnicas de aprendizado de máquina para treinar o programa Typealike.
"É uma rede neural, então você precisa mostrar exemplos de algoritmo do que está tentando detectar", disse Fabrice Matulic, pesquisador sênior da Preferred Networks Inc. e ex-pesquisador de pós-doutorado em Waterloo. "Algumas pessoas fazem gestos um pouco diferentes, e as mãos variam em tamanho, então você tem que coletar muitos dados de pessoas diferentes com diferentes condições de iluminação."
A equipe registrou um banco de dados de gestos de mão com dezenas de voluntários de pesquisa. Eles também fizeram com que os voluntários fizessem testes e pesquisas para ajudar a equipe a entender como tornar o programa o mais funcional e versátil possível.
"Estamos sempre tentando fazer coisas que as pessoas possam usar com facilidade", disse Daniel Vogel, professor associado de ciência da computação em Waterloo. "As pessoas olham para algo como Typealike, ou outra nova tecnologia no campo da interação humano-computador, e dizem que faz sentido. É isso que queremos. Queremos tornar a tecnologia intuitiva e direta, mas às vezes é preciso muita pesquisa complexa e software sofisticado."
Os pesquisadores dizem que há outras aplicações para o programa Typealike em realidade virtual, onde poderia eliminar a necessidade de controladores portáteis.
