Tecnologia portuguesa mais perto de “devolver voz” e capacidade de comunicar a doentes com ELA

Os doentes com Esclerose Lateral Amiotrófica vão ser os primeiros a poder beneficiar da tecnologia que a Unbabel já está a testar em ambiente real, para devolver a capacidade de comunicar perdida para a doença. O Halo usa inteligência artificial para criar uma representação virtual do utilizador e clonar a sua própria voz.

Quem já conviveu de perto com a Esclerose Lateral Amiotrófica sabe que esta é uma doença brutal, tipicamente rápida na evolução e altamente incapacitante, onde tudo o que se perde não se recupera. Projetos como o Halo, que a Unbabel está a desenvolver com o apoio de outros parceiros do Centro para a Inteligência Artificial Responsável, são verdadeiramente aquilo a que pode chamar-se uma luz ao fundo do túnel. Não podem mudar o curso desta doença neurológica degenerativa. Nada pode, pelo menos por enquanto, mas pode fazer uma enorme diferença na vida de quem a vive e de quem vive com quem vive com ela.

Os doentes com ELA vão perdendo a mobilidade e demais funções auxiliadas por músculos, onde se incluem a fala e progressivamente outras formas de comunicação, com gestos ou movimentos, por exemplo. O Halo traz de volta a oportunidade de comunicar através de mensagens de texto ou de voz - uma voz idêntica à do utilizador, numa solução não invasiva que junta sensores, capacidade de ler sinais elétricos do corpo, inteligência artificial e uma aplicação.

O projeto está numa fase ainda de desenvolvimento. Entre o que existe hoje e a fórmula final de um produto pronto para chegar ao mercado ainda há dúvidas e muito espaço para evolução e aperfeiçoamento, mas os avanços alcançados em mais de sete anos de investigação já estão a ser testados em doentes reais e a comprovar o potencial da solução.

A parte visível do Halo é uma banda, que é colocada à volta da cabeça do doente para fixar os eletrodos que vão registar interações com a app. Os sensores estão posicionados aí porque estes são dos últimos músculos no corpo de um doente com ELA a degradarem-se. No futuro a interação pode vir a ser alargada a outros padrões.

Com pequenos movimentos de contração da sobrancelha, o doente provoca alterações no sinal que o eletromiograma regista. Isso ativa a comunicação com a app e permite ao utilizador escolher que resposta quer dar às mensagens que recebe, através da mesma aplicação.

Esta aplicação centraliza diferentes canais de comunicação num menu de chat associado neste momento a uma conta de WhatsApp, onde chegam as mensagens que os contactos do doente enviarem. Lê cada mensagem recebida, juntamente com três opções de resposta. O utilizador escolhe a mais adequada com pequenos movimentos da sobrancelha.

AI Persona: Um "outro Eu" que aprende a prever respostas    

A magia do sistema está na capacidade de ir adequando as respostas apresentadas àquilo que o próprio diria, se fosse o único responsável pela interação. Como? através de uma AI Persona, que vai sendo criada recorrendo a toda a informação possível e disponível sobre a personalidade, os gostos e os hábitos daquele indivíduo, para montar uma espécie de representação virtual do utilizador.

Compilar dados sobre alguém que já começa a interagir com a solução com uma capacidade de comunicação diminuída pela doença é um desafio e para o contornar a equipa está a recorrer a modelos de inteligência artificial que, com autorização do visado, podem analisar todo o tipo de registos de comunicação prévios à doença, como interações nas redes sociais, mensagens, etc. Para moldar esta AI Persona recorre-se também a testemunhos de cuidadores e família e a informação validada pelo próprio, presencialmente ou recorrendo a esta ou outras ferramentas de comunicação alternativas. Todos estes dados são também trabalhados com inteligência artificial, para que o sistema consiga “assimilar” a personalidade do utilizador e prever respostas em futuras conversas, que passarão a ser geradas de forma automatizada.

“O objetivo é minimizar ao máximo as interações que o utilizador tem de ter com a aplicação em si, uma vez que essa é uma limitação”, explicou Catarina Farinha, AI Research Manager na Unbabel, durante a demonstração que a equipa do projeto fez para o SAPO TEK nas instalações da Unbabel em Lisboa. "Isso é feito através da AI persona, que prevê o que a pessoa gostaria de dizer naquele caso".

Nesta fase, o doente tem à disposição três opções de resposta pré-feitas, já formatadas para aquilo que a sua IA Persona percebeu que este pode querer responder. Se nenhuma transmitir a ideia mais correta, podem ser pedidas mais opções. “

É como se fosse um ChatGPT personalizado para os sujeitos e conversas que estão a acontecer no momento. As opções não vão ser gerais, vão ser adequadas às situações do dia a dia”.

Esta é aliás uma das grandes missões do Halo: facilitar a comunicação sobre coisas práticas do dia-a-dia. Para quem perde a capacidade de comunicar, coisas tão simples como dizer o que gostaria de almoçar amanhã, que filme gostaria de ver mais tarde ou em que posição está mais confortável tornam-se um desafio. Mas não só, a ambição é que o Halo possa ser também “uma app conversacional para as pessoas se sentirem mais presentes na vida uns dos outros”.

No futuro, a solução pode evoluir para respostas mais assertivas, ou para sugestões de comunicação mais personalizadas, que adaptem o tipo de discurso a cada interlocutor, por exemplo. Isso acontecerá à medida que a AI Persona é exposta a novos elementos para aprender mais sobre o utilizador e o tipo de relacionamento e proximidade que tem com cada interlocutor.

Unbabel - Halo Parte da quipa de desenvolvimento do Halo créditos: Casa dos Bits / SAPO TEK

Dadas as limitações que podem existir, tanto na informação prévia disponível para aprendizagem do sistema, como na capacidade do utilizador para ir validando as previsões do modelo, outras opções podem e estão a ser exploradas, como a integração de um módulo de vídeo complementar. Esta componente está a ser trabalhada por um dos parceiros do projeto, a Fundação Champalimaud: permite que o utilizador ou um familiar gravem o ambiente familiar do doente durante uma semana, usando uns óculos devidamente equipados, reunindo informação que será acrescentada à restante para ajudar a moldar a AI Persona do utilizador.

O terreno onde o Halo vai movimentar-se não é inexplorado. Já existem outras ferramentas de comunicação adaptadas às necessidades de doentes com ELA. As mais comuns usam sistemas de reconhecimento ocular - seguindo o movimento dos olhos dos doentes ajudam a formar palavras e frases. Ou soluções mais sofisticadas e caras, como a que usava o cientista Stephen Hawking.

Comunicação por "telepatia" ainda é o sonho

O objetivo da Unbabel é promover uma solução acessível e não invasiva, que tal como o sistema usado por Hawking reage a contrações musculares e terá a capacidade de usar voz. Neste caso vai ser possível reproduzir mais palavras por minuto e as frases são lidas pela voz clonada do doente, mais uma vez fazendo uso dos desenvolvimentos mais recentes de IA. Na demonstração que o SAPO TEK pôde ver, as interações usavam já a voz sintetizada do paciente com testes mais avançados da tecnologia. “Devolver” a voz ao Luís foi possível graças a uma pequena amostra de áudio original, apenas com 20 segundos de duração.

Como já referimos, a fórmula final do Halo e o modelo de comercialização não estão definidos e a equipa continua a trabalhar em várias frentes para aperfeiçoar a tecnologia. O sistema de recolha e análise de dados com LLM (Large Language Models, base da inteligência artificial generativa) é uma das áreas onde há detalhes para definir e mudanças importantes a fazer, antes do Halo chegar a ser um produto comercial. Uma delas, é a alteração da própria tecnologia de base. Têm sido usados LLM de terceiros, mas nos próximos meses a Unbabel quer passar a usar o seu próprio modelo de inteligência artificial, que tem vindo a ser desenvolvido.

A integração com os sistemas de Eye Tracking que muitos pacientes de ELA hoje já usam está também a ser trabalhada. Para os doentes familiarizados e aptos para usarem este tipo de ferramentas pode estar aí uma forma de acelerar a curadoria da sua AI Persona no Halo, validando ou pondo de parte as previsões de resposta que o modelo vai apresentando.

Várias outras possibilidades estão a ser exploradas com diferentes parceiros. Algumas podem vir a integrar uma solução final, outras não. O que a Unbabel já sabe é que quer dar espaço próprio a este projeto de investigação, que nasceu há vários anos no laboratório de I&D da empresa e acabou por encontrar caminho para ser acelerado no âmbito do Centro para a IA Responsável, consórcio financiado pelo PRR que a companhia lidera.

Até final do ano, o plano é alargar o número de doentes com ELA a testar o Halo e fazer um spin-off, autonomizando o projeto da casa mãe, dedicada a outras formas de descodificar linguagem. A separação vai  criar condições para que o Halo faça o seu caminho e atraia recursos próprios. Dessa forma poderá continuar a ser aperfeiçoado na componente de hardware (hoje a cargo de parceiros como o Instituto de Telecomunicações) e software, indo tão longe quanto a evolução dos modelos de IA permitir, o que neste momento não é fácil prever, mas o sonho inicial também não era fácil de alcançar e já esteve mais longe de ser cumprido.

Como explica Bruno Prezado Silva, co-fundador e diretor criativo da Unbabel, que também integra a equipa do Halo, desde o início sempre houve a convicção na empresa de que, “mesmo sendo uma startup pequena, tínhamos de ter um espaço para experimentação”. A maior parte dos projetos de I&D foram servindo para melhorar a plataforma de tradução com IA e curadoria humana que popularizou e fez crescer a Unbabel, mas manteve-se sempre espaço para ideias mais experimentais, que desafiam limites. O Halo nasceu aí, para responder ao desafio de criar uma solução capaz de traduzir “telepaticamente”. Pelo caminho foi sendo adaptado ao caso concreto dos doentes com ELA e no futuro pode ser adaptado ao contexto de outras doenças que provoquem as mesmas limitações, mas a ambição de fundo mantém-se.

Este artigo faz parte do especial Ideias que podem mudar vidas: 5 projetos de startups portuguesas para mudar a saúde que vale a pena conhecer