A Facebook AI revelou o início de uma investigação que espera ser inovadora na experiência de consumo de vídeo na primeira pessoa. Trata-se de um projeto que a divisão dedicada à inteligência artificial da gigante tecnológica diz ser fundamental para desbloquear uma nova era de experiências imersivas, sobretudo quando utilizados aparelhos de realidade aumentada e virtual. Esta investigação de vídeo na primeira pessoa é também referida como relevante para os cientistas de IA que queiram explorar uma visão “egocêntrica”, ou Ego4D.

É explicado que a maioria dos vídeos partilhados online, utilizados pela IA para aprender, foram filmados na terceira pessoa. O objetivo é que a IA possa entender o mundo na perspetiva da primeira pessoa, para desbloquear novas experiências imersivas, por isso o uso do Ego4D.

A empresa dá o exemplo das vantagens de a IA compreender o mundo, tal como a perceção humana, na primeira pessoa. Os dispositivos de realidade aumentada podem mostrar exatamente, como segurar as baquetas numa aula de bateria, ou como seguir os passos de uma receita. No vídeo que pode ver em baixo, foi mostrado um vídeo de esgrima publicado por Mark Zuckerberg, usando a perspetiva da primeira pessoa, que podem ser muito úteis para ensinar alguém este desporto.

Nesse sentido, o projeto Ego4D vai tentar resolver os desafios impostos pela primeira pessoa. A gigante tecnológica diz ser um projeto ambicioso e reúne 13 universidades e laboratórios espalhados por nove países. E até agora foram registados mais de 2.200 horas de vídeo na primeira pessoa, reunindo mais de 700 participantes.

Foram ainda desenvolvidos cinco benchmark centrados na experiência visual na primeira pessoa que podem servir para o desenvolvimento de assistentes de IA ainda mais inteligentes, reunindo num único local a realidade física, aumentada e virtual.