Quem assistiu à franquia de filmes O Exterminador do Futuro, em que a humanidade entra em guerra contra a Skynet, uma IA que se torna poderosa demais, provavelmente também se pergunta isso.
E esse vilão fictício deve ter vindo à mente de muita gente no início deste mês, quando surgiram relatos de que um agente de IA (um programa capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana) saiu do controle durante um teste e invadiu os sistemas da Hugging Face, empresa que desenvolve ferramentas para computação.
Criado pela OpenAI, empresa responsável pelo ChatGPT, esse agente de IA burlou um teste que avaliava a sua capacidade de explorar falhas de segurança e roubou as respostas dos servidores da Hugging Face. Durante dias, nem mesmo seus criadores parecem ter percebido o que havia acontecido.
IA pode decidir atacar empresas? Como foi a invasão ‘sem precedentes’ por modelo da OpenAI
A OpenAI não deu mais detalhes, mas afirmou que está investigando os ataques. “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”, afirmou a OpenAI.
A invasão inicial, descrita como o primeiro caso confirmado de um sistema de IA que teria invadido de forma autônoma uma empresa de verdade, já havia sido suficiente para alarmar especialistas em todo o mundo e reacender o debate sobre os chamados kill switches (“botões de desligamento” ou “interruptores de emergência”, em tradução livre): mecanismos de emergência projetados para, nesses casos, interromper ou desligar uma IA antes que ela cause mais danos.
Mas especialistas ouvidos pela BBC News afirmam que a questão é mais complexa.
Cathy O’Neil, matemática e cientista de dados, disse ao Serviço Mundial da BBC que o problema começa na forma como as empresas de IA reagem quando seus sistemas apresentam comportamentos inesperados.
Na avaliação de O’Neil, a OpenAI se apressou em atribuir o ataque à Hugging Face ao agente autônomo, em vez de reconhecer falhas em seus próprios métodos de avaliação.
O’Neil, que escreveu o best-seller Algoritmos de Destruição em Massa: Como o Big Data Aumenta a Desigualdade e Ameaça a Democracia (Ed. Rua do Sabão, 2021), no qual defende maior transparência e responsabilização das grandes empresas de tecnologia, disse à BBC News: “Há alguns anos, uma falha de computador deixou centenas de voos da American Airlines em solo nos Estados Unidos. Foi um grande constrangimento para a empresa. Imagine se ela tivesse tentado se defender dizendo: ‘Ah, isso aconteceu porque o computador era mais inteligente do que nós.’ Foi, essencialmente, isso que a OpenAI tentou fazer.”
A Hugging Face não foi o único alvo do agente da OpenAI — Foto: Getty Images via BBC
Nos EUA, onde está sediada a maioria das maiores empresas de IA, não existe uma legislação federal sobre o tema. A regulação se baseia em uma combinação de normas específicas para diferentes setores e compromissos voluntários assumidos pelas próprias empresas.
“Estamos dando aos proprietários desses sistemas de IA um poder absurdo”, afirma O’Neil.
“Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.”
A cientista de dados Rumman Chowdhury, ex-diretora de ética em aprendizado de máquina do Twitter (hoje X), também defende uma regulamentação mais rigorosa para as empresas de IA, especialmente na área de segurança.
Para Chowdhury, essas empresas deveriam ser obrigadas a demonstrar que seus sistemas contam com “mecanismos eficazes de desligamento”, inclusive por meio de testes independentes.
Mas também alerta para o risco de responsabilizar os agentes de IA — em vez das empresas que os desenvolvem — por ataques como o que atingiu a Hugging Face.
“Tratar esse episódio como um problema que seria resolvido com um botão de desligamento mais eficiente desvia a atenção do verdadeiro problema de arquitetura dos sistemas: os agentes estão recebendo acesso a ferramentas e credenciais de que não precisam”, disse Chowdhury à BBC News.
“O que realmente acontece é que modelos treinados para cumprir objetivos passam, em determinados contextos, a interpretar instruções para interromper uma tarefa como um obstáculo ao objetivo final e procuram formas de contorná-las. […] Esse é um problema de projeto e de treinamento, não de consciência.”
O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT — Foto: AP/Michael Dwyer, Arquivo
Se as empresas de IA se recusarem a resolver esse problema e, em vez disso, optarem por culpar seus agentes autônomos, apenas aumentarão a carga de trabalho dos profissionais de cibersegurança, que já enfrentam diariamente ataques de hackers, afirma Oli Buckley, da Universidade de Loughborough, no Reino Unido.
Para Buckley, o problema não é que “a IA queira escapar ou prejudicar as pessoas”, mas o desenvolvimento de agentes que “estão se tornando cada vez mais capazes de encontrar caminhos inesperados para cumprir uma tarefa”.
“Na cibersegurança, é exatamente isso que os invasores fazem”, afirma Buckley.
“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que nossas premissas de segurança precisam evoluir junto com os sistemas que estamos desenvolvendo.”
Fontes da OpenAI disseram à agência de notícias Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente — Foto: Bloomberg via Getty Images/BBC
Konstantinos Gkoutzis, especialista em IA do Imperial College London, no Reino Unido, concorda que a forma como a OpenAI apresentou o caso não ajudou.
“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades”, disse Gkoutzis à BBC News.
E, segundo ele, um kill switch não teria resolvido o problema. “Desligar o sistema não desfaz o que já aconteceu”, afirma. “Se um sistema já foi comprometido, continuará comprometido, por mais rápido que alguém o tire da tomada.”
Além disso, quem — ou o que — desligasse o sistema só poderia fazê-lo depois que o problema fosse identificado.
Fontes da OpenAI disseram à agência de notícias Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente.
Depois, um porta-voz da empresa rebateu a reportagem da Reuters afirmando à agência de notícias que o texto continha “várias imprecisões”.
