Combinando IA generativa com uma “banda” que funciona como um interface neurológico não invasivo, que transforma padrões de sinais bioelétricos em linguagem, o projeto Halo já conseguiu alguns marcos significativos ao permitir a comunicação de doentes com Esclerose Lateral Amiotrófica (ELA), que estavam incapacitados de se mover e falar. Agora a equipa está a avançar para novas áreas, e a trabalhar na possibilidade de usar agentes para executar ações.

Catarina Farinha, investigadora e responsável de produto do Halo, uma spinoff da Unbabel, partilhou ontem os desenvolvimentos da tecnologia que traz uma nova capacidade de interação aos doentes, mostrando como a Inteligência Artificial adiciona novas capacidades a sistemas que já eram usados, como o que permitia a Stephen Hawking comunicar, mas com vantagens de exigir menos treino inicial e necessitarem de menos calibração.

Na conferência Medica AI, que decorreu na Fundação Champalimaud, a investigadora mostrou como o projeto transformou a vida do Luís, um dos primeiros doentes a testar o Halo, que conseguiu “recuperar” a voz e comunicar com a família, mas também participar em direto numa demonstração no AI for Good Global Summit 2024, nas Nações Unidas, com Vasco Pedro, CEO da Unbabel.

Veja o vídeo

Através do Halo, o Luis conseguiu receber mensagens que eram transformadas em voz, e depois responder, apenas com o pensamento que é interpretado pelo capacete que faz a leitura dos sinais bioelétricos para identificar a resposta. “Para além de ter permitido ao Luís estar naquele palco e participar numa demonstração ao vivo, conseguiu recuperar a sua identidade, porque conseguiu ouvir a sua voz que foi recuperada de informação existente antes de ter deixado de falar”, refere.

Halo usado por Luis, um doente com ELA
Halo usado por Luis, um doente com ELA créditos: Unbabel

“Pode parecer magia mas na verdade é tecnologia simples a usar o melhor que temos disponível”, explica Catarina Farinha, adiantando que o sistema Halo tem dois componentes, o hardware e uma AI Persona, com IA generativa.

Do lado do hardware o doente usa uma headband (uma espécie de capacete mais leve) que faz uma eletromiografia, gravando as contrações dos músculos que habitualmente os doentes de ELA mantêm em fases mais avançadas da doença, que são os que rodeiam os olhos. Depois a AI Persona tem informação do utilizador, do contexto, das preferências e do que ele estava a sentir em cenários semelhantes. Por isso, quando o Luis era confrontado com mensagens, neste caso de texto, essa AI Persona fornecia uma série de respostas possíveis, que ele ouve, e quando há uma que lhe agradava fazia uma seleção e a mensagem era enviada, por texto ou áudio. Entretanto o Luís já faleceu, mas o projeto continua a ser usado por outros doentes de ELA.

Veja as imagens do Halo a ser utilizado por outro doente de ELA, o Pedro

O contexto é muito importante e por isso as memórias e informação são importantes, como a recriação da voz, que começa com um Halo Studio, e depois pode ser testada para diferentes línguas e verificar se o paciente está confortável com o resultado. Na configuração são ainda feitas algumas questões que podem ser respondidas com os sistemas de reconhecimento de movimento dos olhos, mas também podem ser adicionados por famílias ou amigos, assim como por um diário para ajudar a construir a AI Persona. “Tudo isso ajuda e contribui para construir a persona”, explica.

HALO apresentação na Medica AI
HALO apresentação na Medica AI Catarina Farinha apresenta o projeto Halo na conferência Medica AI 2025

A equipa está agora a trabalhar com o Hospital de São João, no Porto para começar um piloto no último trimestre deste ano, com os pacientes a poderem levar a banda Halo e o sistema para casa e fazerem os seus testes no dia a dia. O projeto conta com a parceria do Instituto de Telecomunicações, que trabalha no hardware, e a associação de doentes de ELA, a APELA (Associacao Portuguesa de Esclerose Lateral Amiotrofica).

À margem da conferência, Catarina Farinha adiantou ao TEK Notícias que o projeto já conta com 10 a 20 famílias a usar o Halo, nas diferentes modalidades, com pacientes indicados pela associação APELA.

Adaptação do projeto a outras limitações de comunicação

Mais recentes são duas iniciativas que estão a dar os primeiros passos mas que podem ter também um caminho de desenvolvimento importante para adaptação a outras formas de uso do sistema. São ainda um estudo de caso, e um protótipo, mas abrem o leque de utilização do Halo.

Considerando que a interação com o sistema Halo pode ser feita por texto ou por voz, a equipa de investigação está também a considerar a possibilidade do Halo ser usado por doentes pós-afasia, um distúrbio da linguagem causado por lesão cerebral, como o que pode acontecer depois de um AVC, em que há controle de movimentos. Nestes casos a headband pode não ser necessária mas a AI Persona pode ser usada para a comunicação, e Catarina Farinha mostrou mesmo um vídeo do trabalho que está a ser feito com o Centro de Reabilitação de Alcoitão.

A equipa da Halo está ainda a explorar outras possibilidades, com a utilização de óculos de realidade aumentada, combinando o melhor da IA e do hardware, numa colaboração com a Fundação Champalimaud. Aqui está a ser usado um protótipo impresso em 3D que junta a tecnologia de realidade aumentada para o Halo “ver” o que o paciente está a ver, combinado com o módulo de hardware do Halo, com a eletromiografia para selecionar as opções.

Projeto Halo com Fundação Champalimaud
Projeto Halo com Fundação Champalimaud

A investigadora detalhou que, neste caso, para aumentar a capacidade de comunicação com a visão, o protocolo é basicamente começar com três movimentos de pestanejar, olhar para os objetos e o ambiente e para exprimir o que quer, e a informação é interpretada pelo sistema que já conhece as preferências do utilizador, como por exemplo chocolate quente ou ver o gato.

“Aqui temos o melhor dos dois mundos, com a informação online, com o que é visto, e tudo o que o Halo conhece sobre o utilizador”, destaca Catarina Farinha.

Para o futuro a equipa quer ainda passar além da comunicação, e usar o Halo como um agente, para realizar ações. A ideia é poder fazer tarefas, interagindo com o sistema para poder escolher um restaurante para marcar um jantar, fazer um convite para os amigos e enviar a mensagem. “O que vemos aqui é o Halo a fazer tarefas, ele conhece os meus gostos, pode interagir com o WhatsApp e enviar mensagens, mas pode ir além disso, tocando as músicas no YouTube que eu gosto ou enviando um resumo dos emails não lidos no Gmail”, detalha.

“Estas ações vão além da comunicação e este é o caminho que estamos a seguir com o agentic flow”, refere a investigadora. O projeto está ainda numa fase inicial, a ser testado pela equipa da HALO, e já foi apresentado a um grupo restrito de utilizadores do sistema para validar as suas impressões.  "Testámos nas últimas duas a três semanas também para identificar as ferramentas mais úteis, explicou ao TEK, adiantando que a integração com o WhatsApp e o sistema Halo para as memórias é o caminho mais imediato mas que os investigadores estão a estudar a possibilidade de usar o Gmail ou o YouTube, como foi referido na apresentação.

Nota da Redação: Foi adicionada mais informação, última atualização 17h22