Durante o isolamento da pandemia em fevereiro de 2021, uma criança sofreu uma infeção na zona pélvica e os seus pais captaram fotografias com o seu smartphone com o objetivo de enviar ao seu médico familiar para um diagnóstico e fazer um acompanhamento do progresso da doença. Segundo avança o The New York Times, a consulta de emergência terá sido feita por vídeo e a enfermeira de serviço pediu o envio das fotografias para o médico analisar de forma antecipada.

Aquela que foi uma consulta normal, com diagnostico e tratamento feito com base nas imagens, acabou por se tornar um pesadelo para os pais da criança. As referidas fotografias foram identificadas e assinaladas pelo sistema de inteligência artificial da Google como sendo material de abuso sexual de crianças. A Google encerrou as contas do smartphone Android usado no envio e enviou um relatório para o NCMEC (Centro Nacional de Crianças Desaparecidas e Abusadas).

Além de ter perdido contactos, emails e todas as suas fotos dos serviços da Google, a situação fez disparar uma investigação policial, com as respetivas complicações por ter sido adicionada pelos algoritmos à biblioteca digital da lista negra de imagens. O seu próprio smartphone acabou por ser bloqueado pelo sistema Google Fi, obrigando-o a obter um novo número de outra operadora e dificultou o seu contacto com os agentes que estavam a investigar o caso. As suas contas bloqueadas fizeram-no perder cerca de 10 anos dos seus registos digitais, incluindo as fotografias dos primeiros anos do seu filho.

Foram referidos dois casos inocentes pelo jornal, igualmente relacionado com o envio de fotografias dos filhos ao médico. Neste segundo caso, a vítima da IA da Google estava no meio de processo de compra de casa e o bloqueio do Gmail fê-lo perder os documentos digitais necessários, complicando o negócio e levantando suspeitas de burla quando pediu mudanças de email e reenvio dos mesmos.

Ainda sobre o primeiro caso, depois do pai da criança ter acionado os mecanismos de apelo à Google, a gigante tecnológica negou o desbloqueio das contas, sem oferecer explicações adicionais. E sem saber, também um vídeo relacionado com o envio ao médico estava também a ser investigado. Fora do contexto, o moderador humano da Google terá revisto os conteúdos assinalados pela IA, confirmando que se tratava de abusos de menores. E como tal, foram acionados os mecanismos de bloqueio e alerta às autoridades, sem grandes hipóteses de voltar atrás.

O The New York Times refere que a investigação da polícia concluiu que de facto, o material assinalado não tinha fundamento criminoso. Com esse relatório, a vítima tentou apelar novamente à Google mas seu sucesso, acabando por receber uma notificação de que a sua conta seria apagada permanentemente em dois meses. Ainda tentou processar a Google, mas as despesas do processo de 7 mil dólares eram demasiado elevadas, referiu ao jornal.

De recordar que a Internet Watch Foundation, que tem como missão de proteger crianças que sofrem de abusos sexuais e de procurar e remover conteúdos online, salientou que a sua base de dados alcançou um milhão de entradas. São cada vez mais as vozes que se levantam contra as redes sociais e gigantes tecnológicas para proteger as crianças online. As empresas procuram responder com mecanismos assentes em inteligência artificial para deteção de imagens, como a Apple que propôs um mecanismo que tem sido alvo de críticas, levando ao seu adiamento para o melhorar.