Atualmente existem robots que estão programados para sentir ou ver, mas este novo sistema de inteligência artificial, desenvolvido dentro do Computer Science and Artificial Intelligence Laboratory (CSAIL), permite que o robot possa aprender a “ver” através do tato e a “sentir” uma superfície pelo seu aspecto visual, de maneira idêntica aos humanos.

Para desenvolverem o modelo, os investigadores utilizaram um braço robotizado KUKA com um sensor táctil especial chamado GelSight. “O método gera sinais tácteis realísticos a partir da informação visual, que permitem identificar o objeto ou qual a parte do objeto que está a ser tocada”, explica-se a partir do MIT.

Usando uma simples câmara web, a equipa registou perto de 200 objetos, entre ferramentas, objetos domésticos e tecidos, que foram tocados mais de 12.000 vezes. “Dividindo” esses 12.000 vídeos em imagens estáticas, os investigadores criaram a VisGel, uma base de dados de mais de três milhões de imagens com dados visuais e dados táteis.

“Ao olhar para um cenário, o nosso modelo consegue imaginar a sensação de tocar uma superfície plana ou uma ponta afiada”, diz Yunzhu Li, estudante de doutorado da CSAIL e principal autor de um novo artigo sobre o sistema. “Mesmo sem ver, o modelo pode prever interações com o ambiente simplesmente a partir das sensações táteis”.

O investigador refere que reunir essas duas sensações vai ajudar os robots em tarefas que envolvem manipular e agarrar objetos.