Por David Brauchler (*)

Atualmente, quase três em cada quatro empresas já adotaram a Inteligência Artificial (IA) em alguma área do seu negócio a nível global, e quase duas em cada três já aderiram ao movimento da IA Generativa (GenAI).

A adoção está a acontecer de forma tão rápida, e as ferramentas estão a tornar-se tão acessíveis, escaláveis e comuns, que é incrível pensar que o ChatGPT tem pouco mais de dois anos. A este ritmo, a GenAI parece ter ultrapassado o “vale da desilusão” e alcançado um pico de produtividade.

No entanto, nesta corrida para implementar a IA e os Modelos de Linguagem de Grande Escala (Large Language Models – LLM) em várias funções empresariais, as análises de segurança mostram que muitas organizações estão a avançar mais depressa do que deveriam. Apesar de muitas estarem cientes das potenciais ameaças e vulnerabilidades inerentes à GenAI, poucas sabem como lidar com estas questões ou estão preparadas para o fazer.

Isto tornou-se num ponto crítico para os CISOs (Chief Information Security Officers), que são, em última instância, os responsáveis por proteger as suas organizações. O problema surge de dois ângulos:

  • Suposições equivocadas - Modelos de IA e LLM geram uma quantidade significativa de dados, mas nem todos são confiáveis. Os programadores desenvolvem sistemas com base na premissa de que o modelo se comportará exatamente como foi definido ou como se espera. Contudo, não antecipam que os modelos podem ser manipulados por atacantes oportunistas. Não é apenas o modelo que está em risco: mesmo uma pequena manipulação dos dados que o modelo utiliza pode criar vulnerabilidades. Pior ainda, o modelo não reconhece que foi manipulado, o que o torna facilmente numa ferramenta nas mãos do atacante.
  • Expectativas irrealistas - Devido ao seu enorme potencial, muitas equipas acreditam que os LLMs são mais capazes do que realmente são. Na essência, os LLMs são motores que completam padrões linguísticos - geram a próxima palavra lógica com base em padrões previamente vistos. Contudo, carecem de consciência contextual e podem facilmente “perder o fio à meada”, sem que os utilizadores ou o próprio modelo percebam - aqui reside um risco que os programadores não conseguem controlar.

Estes problemas representam riscos significativos, especialmente porque estudos indicam que o principal uso da GenAI é para desenvolvimento de estratégias, análises e planeamento de negócios. Roadmaps inteiros podem ser construídos sobre outputs questionáveis de IA. Se as organizações não encontrarem formas de mitigar estas vulnerabilidades, o seu futuro, e até mesmo a sua sobrevivência, pode estar em jogo.

Isto coloca os CISOs sob uma pressão imensa para identificar lacunas, implementar processos e criar salvaguardas na integração da IA em ambientes seguros, ajudando os programadores a arquitetar soluções resistentes por defeito. Isto requer uma boa governança, o que inclui manter humanos no circuito de decisão para supervisionar a implementação da IA, com atenção à conformidade e mitigação de riscos.

Como podem os CISOs superar estes desafios e acelerar a adoção de IA segura?

Reconhecer que a "poluição" se move a jusante - Os LLMs acedem a documentos, comandos e imagens de outros modelos ou fontes não confiáveis, o que significa que podem ser expostos a dados para além do que os programadores especificaram. Se um modelo aceder a um recurso com informações maliciosas, os dados poderão ser transmitidos "a jusante", contaminando o resultado. Nesse caso, os utilizadores e as organizações já não podem confiar no output do modelo. É difícil “higienizar” dados o suficiente e, por isso, é essencial entender esta característica fundamental e construir protocolos de segurança adequados desde o início.

Estar atentos aos MATAs (Models as Threat Actors, ou Modelos como Agentes de Ameaça) - Se um atacante conseguir manipular o modelo, ganha controlo sobre ele, tornando-o num agente de ameaça. A IA executará as ações prescritas sem capacidade de distinguir o que é certo ou errado. Dependendo da funcionalidade exposta ao modelo, este pode executar comandos ou extrair todos os recursos em que foi treinado (o que pode incluir dados proprietários). Por exemplo, se um ator malicioso inserir dados manipulados em documentos lidos pelo modelo e um utilizador pedir um resumo desses documentos, o modelo poderá executar as instruções embutidas, como se fossem código executável.

Implementar a separação entre dados e código - Uma das abordagens mais prudentes para a segurança dos modelos é criar uma separação entre código e dados. É semelhante ao funcionamento de um firewall: modelos e dados confiáveis e não confiáveis nunca devem interagir diretamente. Essa camada de controlo opera entre dois LLMs: o modelo confiável (que interage com o código) e o modelo não confiável (que interage com os dados). Assim, o modelo confiável nunca é exposto a dados contaminados, mitigando possíveis cadeias de ataque.

Praticar uma boa gestão de dados - Os dados comprometidos são extremamente difíceis de limpar e uma vez corrompidos é praticamente impossível remover entradas maliciosas ou erradas. Por isso, o melhor é garantir que todo o conteúdo é devidamente etiquetado e mascarado, para que os dados  em quarentena estejam sempre ocultos do modelo, impedindo que ele execute instruções maliciosas. Se for necessário transferir dados entre modelos, converta-os para um tipo estrito e limitado (por exemplo, usar números em vez de texto), para evitar que sejam interpretados como instruções.

Embora algumas vulnerabilidades associadas à IA sejam novas, os princípios de segurança aplicados ao longo das últimas décadas em software tradicional também são eficazes para a IA e os LLMs. O problema é que muitos CISOs não têm as ferramentas ou experiência necessárias para aplicar esses princípios a este novo paradigma.

Além disso, o ritmo acelerado da inovação dificulta a adaptação. Os programadores estão a criar e a implementar LLMs rapidamente, ansiosos por explorar o potencial da tecnologia. Contudo, muitos estão a negligenciar a mitigação de riscos. Os CISOs devem carregar no travão, oferecer orientação e adotar estratégias comprovadas para garantir a segurança no uso da IA.

(*) Diretor Técnico, NCC Group