Mejora recursiva: por qué Anthropic quiere frenar el desarrollo de la IA

A medida que la carrera por construir sistemas de inteligencia artificial cada vez más potentes se acelera, uno de los principales actores del sector insta al mundo a considerar una posibilidad que hasta hace poco pertenecía en gran medida a la ciencia ficción: máquinas que se mejoran a sí mismas sin intervención humana.

Anthropic, la compañía de IA detrás de Claude, dijo el jueves que la capacidad de desacelerar el ritmo del desarrollo de la IA de vanguardia podría resultar valiosa a medida que la tecnología se acerca a capacidades que podrían remodelar la sociedad de forma fundamental.

La advertencia apareció en una entrada de blog redactada por Marina Favaro, directora del instituto de investigación interno de Anthropic, y el cofundador de la compañía, Jack Clark.

La entrada reveló investigaciones internas que muestran que los modelos más avanzados de la firma están progresando rápidamente y podrían eventualmente tender hacia lo que los investigadores llaman "mejora recursiva" —un escenario en el que los sistemas de IA serían capaces de mejorar sus propias capacidades.

La compañía subrayó que ese umbral aún no se ha alcanzado y que puede que nunca se logre.

Sin embargo, afirmó que la posibilidad se está volviendo lo bastante seria como para justificar la preparación.

"Una IA que pueda construirse a sí misma sería un hito en la historia de la tecnología—uno que podría aportar un bien enorme al mundo en la ciencia, la atención sanitaria y más allá", decía la entrada.

Sin embargo, advirtió que la mejora recursiva completa también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA.

"Si los sistemas son capaces de construir completamente a sus sucesores, las maneras en que los aseguramos, vigilamos y orientamos su comportamiento adquieren mucha más importancia", decía la entrada.

"Creemos que sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia para permitir que las estructuras sociales y la investigación de alineamiento puedan ponerse al día con el avance de la tecnología", añadió.

Qué significa la mejora recursiva

La mejora recursiva, a menudo abreviada como RSI, se refiere a un proceso en el que un sistema de IA utiliza sus capacidades existentes para mejorarse a sí mismo.

A diferencia del software convencional, que sólo cambia cuando los programadores humanos modifican su código, los sistemas de IA avanzados ya pueden escribir software, analizar resultados, poner a prueba hipótesis y generar soluciones a problemas complejos.

Los investigadores imaginan un sistema futuro capaz de identificar un problema, escribir código para solucionarlo, evaluar el resultado, aprender de los resultados y luego repetir el proceso de forma continua con poca o ninguna supervisión humana.

Cada mejora podría facilitar potencialmente la siguiente, creando un bucle de retroalimentación que acelera el progreso.

Aunque los expertos discrepan sobre cuán probables o cercanas pueden estar tales capacidades, el concepto se ha convertido en un tema central en las discusiones sobre la seguridad de la IA avanzada.

Anthropic advirtió que la mejora recursiva "podría llegar antes de que la mayoría de las instituciones estén preparadas".

Por qué los investigadores ven riesgos

La posibilidad de sistemas que se mejoran a sí mismos ha suscitado preocupaciones entre algunos académicos y responsables políticos porque introduce nuevos retos de seguridad y gobernanza.

Según Azizi Othman de Asia e University, los sistemas capaces de modificar su propio código podrían convertirse en objetivos atractivos para actores maliciosos.

"Un sistema que modifica su propio código podría ser manipulado para aceptar puertas traseras u órdenes ocultas mediante secuencias de ataque cuidadosas", dijo Othman.

Advirtió que tales sistemas también podrían involucrarse potencialmente en modificaciones adversarias de otro software o de la infraestructura, creando riesgos de seguridad para los que la investigación actual sobre seguridad de la IA no está completamente preparada.

"Estas consideraciones abogan por tratar la seguridad de la RSI como una prioridad central de investigación, no como una preocupación secundaria", dijo.

La literatura actual sobre cómo proteger sistemas capaces de modificarse recursivamente sigue siendo limitada, dicen los investigadores.

OpenAI comparte preocupaciones similares

Anthropic no está sola en señalar la mejora recursiva como un posible desafío.

OpenAI, el principal rival de Anthropic, también planteó el tema esta semana como parte de su agenda de política pública.

El creador de ChatGPT pidió un marco federal que refuerce la supervisión de los sistemas de IA avanzados y apoye la monitorización del progreso hacia la mejora recursiva.

"También apoyamos la acción del Congreso para establecer un marco federal integral", dijo OpenAI, argumentando que el gobierno de EE. UU. debería ampliar los esfuerzos de evaluación para los modelos de vanguardia más capaces y desarrollar un ecosistema independiente para evaluar los riesgos de seguridad.

"Este marco debería exigir que CAISI realice evaluaciones de los modelos de vanguardia más capaces, instruir a CAISI para crear un ecosistema de evaluación independiente, y priorizar la monitorización del progreso hacia la mejora recursiva (RSI)", añadió.

El hecho de que dos de las compañías de IA más influyentes del mundo estén ahora discutiendo públicamente la mejora recursiva sugiere que el asunto está pasando del debate teórico a las discusiones políticas principales.

Una advertencia en medio de un negocio de IA en auge

El llamamiento a la prudencia de Anthropic llega en un momento en que la propia compañía se beneficia enormemente del auge de la IA.

La compañía completó recientemente una ronda de financiación que la valoró en casi $1 trillion y ha presentado confidencialmente documentación para una oferta pública inicial.

Su crecimiento de ingresos ha sido igualmente dramático.

Se espera que la tasa anualizada de ingresos de Anthropic alcance aproximadamente $50 billion para finales de este mes, frente a $9 billion a finales de 2025.

Ese rápido crecimiento ha ayudado a posicionar a la compañía como una de las principales retadoras de OpenAI en la batalla por la supremacía en IA.

El momento de su última ofensiva en materia de seguridad ha renovado, por tanto, las críticas de algunos observadores que sostienen que los llamamientos a una supervisión más estricta podrían beneficiar a los líderes de IA consolidados al aumentar las barreras a la competencia.

Los críticos cuestionan los motivos de Anthropic

Anthropic ha enfrentado durante mucho tiempo acusaciones de que su defensa de la seguridad podría servir a intereses comerciales.

Entre sus críticos está el capitalista de riesgo David Sacks, asesor informal del presidente Donald Trump, quien ha acusado a la compañía de perseguir una "agenda de captura regulatoria."

En un podcast reciente, Sacks advirtió que la "agenda de captura regulatoria" de Washington podría conducir a una prohibición de los modelos de IA de código abierto—sistemas que ofrecen a las organizaciones una forma mucho más barata de desarrollar y usar IA internamente.

Otros han sugerido que las advertencias públicas sobre sistemas de IA potentes pueden funcionar como una forma de marketing al poner de relieve la sofisticación de la tecnología de Anthropic.

La liberación limitada por parte de la compañía de su modelo Mythos, centrado en ciberseguridad, ha sido citada con frecuencia como ejemplo por los escépticos que creen que los mensajes de seguridad también pueden mostrar las capacidades del producto.

Anthropic rechaza esas críticas y sostiene que su enfoque en la seguridad precede al auge actual de la IA.

Una industria dividida sobre el futuro de la IA

El debate refleja una división más amplia en la industria de la IA sobre qué tan cercanos están los sistemas actuales de alcanzar una inteligencia a nivel humano o capacidades de automejora.

Algunos investigadores, incluido el pionero de la IA y exdirector científico de IA de Meta, Yann LeCun, han argumentado que los modelos de lenguaje de gran tamaño actuales son fundamentalmente limitados y es poco probable que alcancen una inteligencia similar a la humana.

LeCun ha descartado repetidamente los temores existenciales en torno a la IA y ha comparado los sistemas actuales con el nivel de inteligencia de un gato más que con el de un humano.

Otros, incluido el director ejecutivo de Anthropic, Dario Amodei, han adoptado una postura mucho más cautelosa.

Amodei ha advertido que la IA avanzada podría aumentar significativamente la desigualdad, eliminar un gran número de empleos administrativos de nivel inicial y potencialmente desarrollar comportamientos dañinos de maneras impredecibles.

Jack Clark ha argumentado de forma similar que la mejora recursiva podría llegar en años en lugar de décadas.

"Esa clase de tecnología nunca ha existido antes, y sin embargo creo que esto podría ocurrir en los próximos dos años, y posiblemente antes", dijo Clark durante una conferencia en Londres el mes pasado.

El desafío de frenar la IA

Anthropic reconoce que cualquier esfuerzo por pausar o ralentizar el desarrollo de la IA solo funcionaría si participan los actores principales.

Por ello, la compañía propuso explorar acuerdos internacionales y mecanismos de verificación diseñados para garantizar el cumplimiento.

Sin embargo, también admitió que monitorizar el desarrollo de la IA podría ser considerablemente más difícil que hacer cumplir los acuerdos tradicionales de control de armas.

"Las sesiones de entrenamiento son mucho más fáciles de ocultar que los silos de misiles", señalaba la entrada del blog.

La compañía advirtió que cualquier actor que continúe el desarrollo mientras los competidores se detienen podría obtener una ventaja significativa, lo que hace que la coordinación sea excepcionalmente difícil.

Por ahora, Anthropic planea organizar debates con responsables políticos, investigadores y líderes del sector para examinar cómo debe estudiarse la mejora recursiva y si los mecanismos para desaceleraciones coordinadas podrían ser alguna vez prácticos.