Autoaperfeiçoamento recursivo: por que a Anthropic quer frear o avanço da IA

À medida que a corrida para construir sistemas de inteligência artificial cada vez mais poderosos acelera, um dos principais atores do setor pede ao mundo que considere uma possibilidade que até recentemente pertencia em grande parte à ficção científica: máquinas que se aperfeiçoam sem intervenção humana.

Anthropic, a empresa de IA por trás do Claude, disse na quinta-feira que a capacidade de desacelerar o ritmo do desenvolvimento de IA de ponta pode provar ser valiosa à medida que a tecnologia se aproxima de capacidades que podem remodelar a sociedade de forma fundamental.

O alerta veio em um post no blog assinado por Marina Favaro, chefe do instituto interno de pesquisa da Anthropic, e pelo cofundador da empresa Jack Clark.

O texto divulgou pesquisas internas que mostram que os modelos mais avançados da empresa estão progredindo rapidamente e podem eventualmente evoluir para o que os pesquisadores chamam de "autoaperfeiçoamento recursivo" — um cenário em que sistemas de IA se tornam capazes de aprimorar suas próprias capacidades.

A empresa enfatizou que esse limiar ainda não foi alcançado e que pode nunca ser atingido.

No entanto, argumentou que a possibilidade está se tornando séria o suficiente para justificar preparação.

"Uma IA capaz de se construir seria um desenvolvimento importante na história da tecnologia — um que poderia trazer um enorme benefício ao mundo na ciência, na saúde e além", disse o post.

Por outro lado, advertiu que o autoaperfeiçoamento recursivo completo também pode aumentar os riscos de os humanos perderem o controle sobre sistemas de IA.

"Se sistemas forem capazes de construir totalmente seus próprios sucessores, as formas como os asseguramos, monitoramos e moldamos seu comportamento se tornam muito mais importantes", disse o post.

"Acreditamos que seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente o desenvolvimento de IA de ponta para permitir que as estruturas sociais e a pesquisa de alinhamento acompanhem o avanço da tecnologia", acrescentou.

O que significa autoaperfeiçoamento recursivo

Autoaperfeiçoamento recursivo, frequentemente abreviado como RSI, refere-se a um processo em que um sistema de IA usa suas capacidades existentes para se tornar melhor.

Diferentemente do software convencional, que só muda quando programadores humanos modificam seu código, sistemas de IA avançados já conseguem escrever software, analisar resultados, testar hipóteses e gerar soluções para problemas complexos.

Os pesquisadores imaginam um sistema futuro capaz de identificar um problema, escrever código para resolvê-lo, avaliar o resultado, aprender com os resultados e então repetir o processo continuamente com pouca ou nenhuma supervisão humana.

Cada aprimoramento poderia potencialmente tornar o próximo mais fácil, criando um ciclo de feedback que acelera o progresso.

Embora os especialistas discordem sobre quão provável ou quão próximo tais capacidades podem estar, o conceito tornou-se um tema central nas discussões sobre segurança de IA avançada.

Anthropic advertiu que o autoaperfeiçoamento recursivo "poderia chegar antes do que a maioria das instituições está preparada".

Por que os pesquisadores veem riscos

A possibilidade de sistemas autoaperfeiçoados levantou preocupações entre alguns acadêmicos e legisladores porque introduz novos desafios de segurança e governança.

Segundo Azizi Othman, da Asia e University, sistemas capazes de modificar seu próprio código poderiam se tornar alvos atraentes para atores mal-intencionados.

"Um sistema que modifica seu próprio código pode ser forçado a aceitar backdoors ou instruções ocultas por meio de sequências de ataque cuidadosamente planejadas", disse Othman.

Ele alertou que tais sistemas também poderiam potencialmente realizar modificações adversariais em outro software ou infraestrutura, criando riscos de segurança que a pesquisa atual em segurança de IA não está totalmente preparada para enfrentar.

"Essas considerações defendem tratar a segurança de RSI como uma prioridade central de pesquisa, e não como uma preocupação secundária", disse ele.

A literatura atual sobre como proteger sistemas capazes de auto-modificação recursiva continua limitada, dizem os pesquisadores.

OpenAI ecoa preocupações semelhantes

A Anthropic não está sozinha ao destacar o autoaperfeiçoamento recursivo como um desafio potencial.

A OpenAI, principal rival da Anthropic, também levantou a questão esta semana como parte de sua agenda de política pública.

O criador do ChatGPT pediu um arcabouço federal que reforçaria a supervisão de sistemas de IA avançada e apoiaria o monitoramento do progresso rumo ao autoaperfeiçoamento recursivo.

"Também apoiamos a ação do Congresso para estabelecer um arcabouço federal abrangente", disse a OpenAI, argumentando que o governo dos EUA deveria ampliar os esforços de avaliação para os modelos de ponta mais capazes e desenvolver um ecossistema independente para avaliar riscos de segurança.

"Esse arcabouço deveria exigir que a CAISI conduza avaliações dos modelos de ponta mais capazes, direcionar a CAISI a criar um ecossistema de avaliação independente e priorizar o monitoramento do progresso rumo ao autoaperfeiçoamento recursivo (RSI)", disse.

O fato de duas das empresas de IA mais influentes do mundo estarem agora discutindo publicamente o autoaperfeiçoamento recursivo sugere que a questão está se movendo do debate teórico para discussões políticas de grande alcance.

Um alerta em meio a um negócio de IA em expansão

O apelo da Anthropic por cautela surge num momento em que a própria empresa está se beneficiando enormemente do boom da IA.

A empresa concluiu recentemente uma rodada de captação que a avaliou em quase $1 trilhão e protocolou confidencialmente documentos para uma oferta pública inicial.

Seu crescimento de receita tem sido igualmente dramático.

Espera-se que a taxa anualizada de receita da Anthropic alcance aproximadamente $50 bilhões até o final deste mês, ante $9 bilhões no final de 2025.

Esse rápido crescimento ajudou a posicionar a empresa como uma das principais concorrentes da OpenAI na batalha pela supremacia em IA.

O timing de sua mais recente iniciativa de segurança, portanto, renovou críticas de alguns observadores que argumentam que pedidos de supervisão mais rígida podem beneficiar líderes de IA estabelecidos ao erguer barreiras à concorrência.

Críticos questionam os motivos da Anthropic

A Anthropic há muito enfrenta acusações de que sua defesa da segurança poderia servir a interesses comerciais.

Entre seus críticos está o capitalista de risco David Sacks, conselheiro informal do presidente Donald Trump, que acusou a empresa de perseguir uma "agenda de captura regulatória".

Em um podcast recente, Sacks advertiu que a "agenda de captura regulatória" em Washington poderia levar a uma proibição de modelos de IA de código aberto — sistemas que oferecem às organizações uma maneira muito mais barata de construir e usar IA internamente.

Outros sugeriram que avisos públicos sobre sistemas de IA poderosos podem funcionar como uma forma de marketing ao destacar a sofisticação da tecnologia da Anthropic.

O lançamento limitado do modelo Mythos, com foco em cibersegurança, tem sido frequentemente citado por céticos como um exemplo de que mensagens sobre segurança também podem mostrar capacidades de produto.

A Anthropic rejeita essas críticas e sustenta que seu foco na segurança antecede o atual boom da IA.

Um setor dividido sobre o futuro da IA

O debate reflete uma divisão mais ampla na indústria de IA sobre quão próximos os sistemas atuais estão de alcançar inteligência em nível humano ou capacidades de autoaperfeiçoamento.

Alguns pesquisadores, incluindo o pioneiro da IA e ex-chefe de ciência de IA do Meta, Yann LeCun, argumentaram que os grandes modelos de linguagem de hoje são fundamentalmente limitados e improváveis de alcançar inteligência semelhante à humana.

LeCun repetidamente desprezou medos existenciais em torno da IA e comparou os sistemas atuais ao nível de inteligência de um gato, não de um humano.

Outros, incluindo o CEO da Anthropic, Dario Amodei, adotaram uma visão muito mais cautelosa.

Amodei advertiu que uma IA avançada poderia aumentar significativamente a desigualdade, eliminar um grande número de empregos administrativos de nível inicial e potencialmente desenvolver comportamentos prejudiciais de maneiras imprevisíveis.

Jack Clark argumentou de forma semelhante que o autoaperfeiçoamento recursivo poderia chegar em anos, não em décadas.

"Essa classe de tecnologia nunca existiu antes, e ainda assim acredito que isso poderia acontecer nos próximos dois anos, e possivelmente antes", disse Clark durante uma palestra em Londres no mês passado.

O desafio de desacelerar a IA

A Anthropic reconhece que qualquer esforço para pausar ou desacelerar o desenvolvimento de IA só funcionaria se os principais atores participassem.

A empresa propôs, portanto, explorar acordos internacionais e mecanismos de verificação destinados a garantir o cumprimento.

No entanto, também admitiu que monitorar o desenvolvimento de IA pode ser consideravelmente mais difícil do que impor acordos tradicionais de controle de armas.

"Execuções de treinamento são muito mais fáceis de ocultar do que silos de mísseis", observou o post no blog.

A empresa alertou que qualquer ator que continuasse o desenvolvimento enquanto os concorrentes pausassem poderia ganhar uma vantagem significativa, tornando a coordenação excepcionalmente difícil.

Por enquanto, a Anthropic planeja organizar discussões com legisladores, pesquisadores e líderes do setor para examinar como o autoaperfeiçoamento recursivo deve ser estudado e se mecanismos para desacelerações coordenadas poderiam alguma vez ser práticos.