Quando se pensa em assistentes de inteligência artificial, a interação é, por norma, feita através dos comandos de voz, mas o que fazer quando os utilizadores têm a incapacidade de ouvir ou falar?

É a pensar nessas pessoas que um produtor de software, Abhishek Singh, desenvolveu uma modificação para o periférico Amazon Echo, que através de uma ligação a um portátil, consegue comunicar com a assistente de inteligência artificial Alexa. O sistema utiliza uma webcam para captar os movimentos da linguagem gestual e transmiti-los ao assistente. A IA responde ao utilizador através de voz e texto no ecrã.

Para produzir esta forma  de comunicação, o programador utilizou um software de machine learning para desenvolver um algoritmo capaz de debitar texto e voz após reconhecimento dos movimentos executados durante a comunicação gestual. A modificação utilizou como base o software TensorFlow da Google, que permite programar aplicações de machine learning em ambiente JavaScript, tornando-as mais facilmente compatíveis com os browsers de internet.

O programador dedicou grande parte do tempo a treinar a “máquina”, introduzindo no programa diversos sinais visuais utilizados na lingua gestual. Segundo referiu ao The Verge, durante o desenvolvimento desta tecnologia, o programador não conseguiu encontrar bases de dados online dos sinais de lingua gestual, obrigando-o a criar de raiz os gestos básicos para as suas experiências.

Refere ainda que a introdução de dados na máquina é fácil e que planeia disponibilizar o código em open source para que todos possam contribuir. Se possível, deseja que empresas como a Amazon fiquem sensibilizadas e adotem sistemas semelhantes nas suas soluções, ou mesmo o seu protótipo. No vídeo pode assistir a uma demonstração da tecnologia de Abhishek Singh. Será que no futuro os "assistentes de voz" possam também ser "assistentes de gestos"?

Nota da Redação: A notícia foi alterada para corrigir a referência à língua gestual