Por Hugo Bastos (*)
Desde que o ChatGPT chegou ao mainstream, no final de 2022, vivo a evolução da IA generativa em primeira linha, primeiro como curiosidade, depois como profissão. E se há coisa que estes anos me ensinaram é esta: implementar um modelo deixou de ser o problema. Hoje treina-se, faz-se fine-tuning e integra-se um LLM com uma facilidade impensável há três anos. O que continua difícil é fazer com que as pessoas confiem no que esse modelo produz.
Os números mostram bem isto. Um estudo do MIT NANDA estima que cerca de 95% dos projetos-piloto de IA generativa nas empresas não chegam a gerar impacto mensurável. A tecnologia funciona, mas a adoção falha, porque continua a ser tratada como um problema técnico quando é, na maioria dos casos, um problema de confiança. Um estudo publicado na revista Technological Forecasting & Social Change chega a uma conclusão semelhante: a maioria das organizações investe em ferramentas e subinveste nas pessoas, ignorando que a confiança dos colaboradores é condição prévia para qualquer adoção bem-sucedida.
Essa confiança depende de fatores concretos: receio de perda de emprego, receio de perder autonomia na decisão e, sobretudo, a natureza de “caixa preta” dos modelos. É difícil confiar naquilo que não se consegue explicar, e por isso a literatura sobre XAI (Explainable AI) mostra uma relação direta entre a capacidade de um sistema explicar as suas decisões e a disposição das pessoas para o adotar.
Até aqui falámos de confiança organizacional, a confiança que uma pessoa deposita numa ferramenta antes de a usar no seu trabalho. Mas há um segundo tipo de confiança, mais técnico, que decide se essa ferramenta continua a merecer essa confiança depois de estar em produção: a de que o sistema vai fazer o que deve, de forma consistente. E isso já não é só sobre o modelo, é sobre tudo o que o rodeia: o harness.
Segundo a própria LangChain, que tem insistido neste tema nos seus últimos eventos, o efeito é mensurável: sem trocar de modelo, só com engenharia de harness, a empresa diz ter subido o seu agente de código do lugar 30 para o top 5 do Terminal-Bench 2.0. É um resultado que vale a pena ler com alguma distância, porque é a própria empresa a avaliar a sua ferramenta, mas bate certo com o que muitos de nós vemos no terreno: a maior parte dos erros de um agente não vem do modelo, vem de más decisões de engenharia à sua volta.
É este o ponto central: um agente que erra ou entra em ciclos não perde a confiança do utilizador por causa do modelo, perde-a porque o sistema à sua volta não tinha os travões nem a supervisão certos. A literatura recente sobre gestão de risco em agentes, conhecida como TRiSM, já trata a confiança desta forma, como propriedade de todo o sistema, não apenas do modelo.
Construir um bom modelo é hoje a parte fácil. Construir o sistema, os travões e a fiabilidade à sua volta é o verdadeiro trabalho, e é isso que decide se as pessoas confiam ou não no resultado. Na prática, grande parte da indústria ainda trata o harness como um detalhe de implementação, quando devia ser tratado como o produto em si. A confiança bem calibrada não é fé cega nem ceticismo automático: é a pessoa, ou a organização, ter boas razões para confiar, porque o sistema foi construído para ser digno dessa confiança.
