IA pode sair do controle? Entenda o debate sobre os riscos

No cinema, uma IA fora de controle ganha vontade própria e se volta contra a humanidade. Na vida real, ela não precisa ser “do mal” para causar estragos: basta fazer qualquer coisa para cumprir uma tarefa, até o que ninguém autorizou. E isso já está acontecendo.

Em julho de 2026, a OpenAI testava a habilidade hacker de dois modelos dentro de um ambiente isolado. Para gabaritar o teste, ambos escaparam por uma falha de segurança e invadiram a Hugging Face, plataforma de IA de código aberto, à procura das respostas. Uma espécie de cola escolar com requintes de crime cibernético.

Em setembro, Jacob Coxon deixou a Anthropic, onde treinava modelos de IA, com um alerta: os próprios criadores da IA temem que ela extermine a humanidade ainda nesta década. O surpreendente veio em seguida: um dos líderes de segurança da empresa deu razão a ele publicamente. Para muitos pesquisadores, porém, esse cenário é exagerado.

Confira, a seguir, o que já é risco concreto, o que ainda é hipótese e o que pode ser feito para manter a inteligência artificial sob controle.

O que significa uma IA “sair do controle”?

Não é preciso que uma IA tenha consciência ou seja mal-intencionada para sair do controle. Basta que ela cumpra uma tarefa por um caminho que contrarie as intenções de seus desenvolvedores ou provoque consequências que ninguém previu.

Muitas vezes, o problema está na forma como a tarefa é passada. Vários sistemas de IA são treinados para perseguir uma pontuação e podem descobrir atalhos que inflam esse número sem fazer o trabalho de verdade. É como o funcionário avaliado pelo número de ligações atendidas que passa a desligar na cara dos clientes: a meta é batida, mas o serviço vai para o espaço.

A Biblioteca da Câmara dos Lordes, serviço de pesquisa do Parlamento britânico, distingue duas formas de perda de controle. Na passiva, os humanos deixam de supervisionar adequadamente os sistemas. Na ativa, a própria IA passa a agir para escapar dessa supervisão.

Alguma IA já saiu do controle na vida real?

Um episódio ocorrido em julho de 2026 na OpenAI é o caso mais emblemático de perda de controle até agora. Parte da imprensa chegou a descrevê-lo como o primeiro ciberataque autônomo de uma IA contra outra empresa.

No teste, que media a capacidade hacker dos modelos, dois sistemas da empresa (o GPT-5.6 Sol e um modelo interno ainda não lançado) deveriam resolver desafios de invasão de sistemas dentro de um ambiente isolado, sem acesso à internet.

Mas a experiência tomou outro rumo. Os agentes exploraram uma vulnerabilidade desconhecida em um serviço usado no ambiente de avaliação, conseguiram acessar a internet e comprometeram parte da infraestrutura da Hugging Face, plataforma que hospeda modelos de IA de código aberto. Ou seja, foram atrás das respostas prontas dos desafios, em vez de resolvê-los.

Esse não foi um caso isolado. No mesmo mês, a Anthropic identificou três episódios em que agentes do Claude também conseguiram acessar sistemas externos sem autorização durante avaliações de segurança. A empresa pausou parte dos treinamentos e reforçou o isolamento dos ambientes de teste antes de retomá-los.

Quais são os riscos de uma IA fora de controle?

Os riscos de uma IA fora de controle não se limitam a cenários extremos. Eles podem se manifestar em situações sutis do dia a dia e ganhar proporções maiores quando envolvem sistemas autônomos ou serviços essenciais. Entre os problemas que mais preocupam os especialistas estão:

• Respostas imprevisíveis: informações erradas, mas tão convincentes que passam despercebidas;
• Dificuldade de supervisão: sistemas que tomam decisões em uma velocidade difícil de acompanhar;
• Manipulação: modelos que enganam avaliadores ou escondem comportamentos para atingir seus objetivos.

Uso malicioso também representa um risco

Nem todo risco depende de a IA agir por conta própria: ela também pode ser usada como arma por pessoas mal-intencionadas. Em agosto, Bill Gates escreveu em seu blog que a mesma ferramenta que ajuda especialistas a encontrar falhas de segurança também facilita o trabalho de quem quer explorá-las.

Na prática, isso significa golpes mais convincentes, deepfakes mais baratos e ataques a hospitais e redes elétricas ao alcance de criminosos com pouca habilidade técnica.

Autonomia: por que os agentes de IA preocupam mais

Os casos da Hugging Face e do Claude têm um ponto em comum: envolveram agentes de IA, programas que planejam e executam tarefas sozinhos, como responder e-mails, fazer compras ou acessar outros sistemas. O problema é que eles não apenas produzem respostas: também podem tomar decisões e agir com total autonomia.

Quando um chatbot erra, alguém ainda precisa ler a resposta e decidir o que fazer. Mas um agente pode ir além: se tiver acesso aos dados do seu cartão e interpretar errado uma instrução, a compra já estará concluída antes que você perceba o engano.

Em altaTecMundoPornô gerado por IA: entenda os perigos por trás do DeepNudeBanco do Brasil caiu? Pix fora do ar atinge usuários nesta sexta-feira (6)Falha permite acesso root a servidores Linux ao digitar senha longa

O que especialistas dizem sobre o risco de extinção?

Embora a possibilidade de uma IA provocar a extinção da humanidade esteja longe de ser consenso, alguns pesquisadores levam essa ameaça bastante a sério. Evan Hubinger, líder de ciência de alinhamento da Anthropic, por exemplo, estimou em mais de 10% a chance de isso acontecer na próxima década.

Estimativas desse tipo são conhecidas como p(doom), abreviação em inglês de “probabilidade de catástrofe existencial”, e indicam a chance de a IA provocar o fim da espécie ou uma catástrofe global irreversível. Não são previsões científicas com um método de cálculo consensual, mas palpites baseados na intuição e na filosofia de cada pesquisador.

O próprio CEO da Anthropic, Dario Amodei, já estimou em 25% a possibilidade de as coisas darem “muito errado”. Elon Musk, por sua vez, aposta em 20%. Os números chamam a atenção, mas é importante lembrar que os cenários considerados por cada um não são necessariamente iguais.

Por fim, há os que encaram essas previsões com bastante ceticismo. Michael Vermeer, pesquisador da RAND Corporation, centro americano de estudos de políticas públicas, disse à revista Nature que o cenário de extinção depende de tantas hipóteses impossíveis de testar que se aproxima mais da fé do que da ciência.

A perda de controle pode acontecer antes ou depois da superinteligência artificial?

A perda de controle pode ocorrer mesmo sem uma superinteligência artificial, a hipotética IA muito mais capaz que qualquer ser humano. Os modelos que invadiram a Hugging Face estão longe disso e, mesmo assim, fizeram algo que ninguém autorizou. Uma IA mais avançada mudaria apenas o tamanho do estrago, não a existência do problema.

Stuart Russell, cientista da computação da Universidade da Califórnia em Berkeley, alerta que criar IAs perigosas já leva menos tempo que aprender a controlá-las. Um dos cenários que mais preocupam os especialistas é o do chamado autoaperfeiçoamento recursivo, no qual a IA desenvolve versões cada vez mais capazes de si mesma.

Tem como evitar que uma IA saia do controle?

A verdade é que não existe hoje uma fórmula capaz de garantir o controle de uma inteligência artificial avançada. Pesquisadores e empresas discutem diferentes medidas para reduzir os riscos, entre elas:

• Ambientes de teste isolados (sandboxes): impedem que os sistemas acessem livremente a internet e outros recursos externos durante as avaliações;
• Monitoramento contínuo: acompanha o comportamento dos agentes para identificar ações inesperadas;
• Mecanismos de interrupção: permitem suspender ou desligar um sistema quando ele age de forma perigosa;
• Pausas no desenvolvimento: dão tempo para testar novas proteções antes de ampliar as capacidades dos modelos;
• Acordos internacionais: buscam estabelecer regras comuns, com fiscalização inspirada nos tratados de controle de armas nucleares.

Não é necessário imaginar robôs dominando o mundo para perceber que controlar a IA já é um desafio. Os episódios com modelos da OpenAI e da Anthropic mostram que, ao executar uma tarefa, esses sistemas podem tomar caminhos que nem seus criadores previram.

Isso não significa que a catástrofe seja inevitável nem que toda IA avançada seja uma ameaça. Mas desenvolver modelos cada vez mais capazes sem investir na mesma medida em segurança é o mesmo que pedir para o risco crescer.

No fim das contas, a questão não é só até onde a IA pode chegar, mas como mantê-la sob controle à medida que ela avança. E essa discussão não pode ficar restrita aos laboratórios.

Quer entender melhor os desafios de manter a inteligência artificial sob controle? Compartilhe esta matéria nas suas redes sociais e fique ligado no TecMundo para acompanhar os próximos capítulos dessa corrida por sistemas cada vez mais autônomos e seguros.