Pesquisador da Anthropic pede demissão por IA 'apostando vidas humanas'; risco de extinção supera 10%

O pesquisador da Anthropic, Jacob Coxon, renunciou à empresa com um alerta contundente: laboratórios de ponta estão numa corrida rumo a sistemas que, no fim, podem ser incapazes de controlar.

Coxon, que passou três anos pesquisando pré-treinamento na OpenAI e na Anthropic, disse que ambas as empresas perseguem uma superinteligência que se autoaperfeiçoa enquanto assumem riscos que ele não quer mais ajudar a acelerar.

Sua saída ganhou peso depois que Evan Hubinger, chefe de Alignment Science da Anthropic, afirmou que pessoalmente vê mais de 10% de chance de que a IA possa matar todos os humanos na próxima década.

Esse número é a estimativa pessoal de Hubinger, não uma previsão da Anthropic, e ele enfatizou que os modelos atuais representam risco relativamente baixo.

Coxon diz que a própria corrida é o problema

Coxon não está simplesmente argumentando que a Anthropic ignora segurança.

Ao anunciar sua renúncia, ele afirmou que pessoas na Anthropic compreendem as possíveis consequências, mas permanecem presas a uma competição que recompensa acelerar, porque outro laboratório poderia, caso contrário, alcançar a superinteligência primeiro.

“Eles estão correndo diretamente para uma superinteligência que se autoaperfeiçoa e apostando com as nossas vidas”, escreveu Coxon.

O pesquisador decidiu deixar a indústria de IA porque não quer mais participar da construção de sistemas que podem se tornar incontroláveis.

Ele disse ao Wall Street Journal que, em cenários agressivos, as coisas poderiam ficar “fora de controle” até o final do próximo ano.

Essa linha do tempo continua sendo a avaliação de Coxon. Mas seu argumento levanta uma questão de governança mais difícil: uma empresa pode levar a segurança a sério e ainda assim contribuir para uma corrida perigosa se a pressão competitiva tornar impossível abrandar.

Isso desafia a ideia de que culturas de segurança melhores dentro de empresas isoladas sejam suficientes.

Leia também - Confronto Anthropic-Pentágono levanta questão-chave: quem é responsabilizado se a IA matar?

Estimativa de 10% de Hubinger expõe a contradição

A resposta de Hubinger transformou a renúncia em um debate mais amplo sobre IA de fronteira.

O líder de Alignment Science da Anthropic disse que pesquisadores dentro da IA de fronteira acreditam genuinamente que uma IA avançada poderia matar a humanidade. Sua própria estimativa coloca esse risco acima de 10% na próxima década.

Ele também disse que a Anthropic está “fazendo o melhor possível”, ao mesmo tempo em que reconhece que a empresa ainda não tem um plano para resolver o alinhamento da superinteligência e não está claramente no caminho para isso.

Hubinger posteriormente esclareceu que considera o risco dos modelos atuais baixo. Sua preocupação centra-se na futura superinteligência que emergiria por meio do autoaperfeiçoamento recursivo, em que sistemas de IA ajudam cada vez mais a projetar e melhorar seus sucessores.

A Anthropic declarou publicamente que o autoaperfeiçoamento recursivo não é inevitável, mas que pode chegar antes do que as instituições estão preparadas e aumentar o risco de os humanos perderem o controle.

A contradição é difícil de ignorar: pesquisadores tentam resolver o alinhamento enquanto os sistemas que estudam continuam se tornando mais capazes.

A competição pode ser mais difícil de resolver que o alinhamento

A renúncia de Coxon aponta, em última instância, além de uma empresa.

Se laboratórios líderes acreditam que desacelerar poderia dar vantagem a um rival, preocupações internas sérias podem não se traduzir em desenvolvimento mais lento.

O pesquisador de IA Gary Marcus disse, em comentários reportados pelo Techmeme, que não concorda com cada parte do argumento de Coxon, mas o considerou “convincente e informado por dentro” e afirmou que merece ser ouvido.

Isso é um contrapeso útil porque afirmações sobre probabilidades de extinção e prazos para superinteligência continuam profundamente incertas.

A Anthropic pode investir em pesquisa de alinhamento, publicar relatórios de risco e construir salvaguardas, enquanto ainda opera em um mercado onde a OpenAI e outros rivais empurram as capacidades adiante.

A saída de Coxon pergunta o que acontece quando pesquisadores dentro desses laboratórios acreditam que o lado negativo é relevante, admitem que o controle não está resolvido e ainda enfrentam incentivos para continuar correndo.