Advertencias de extinción por IA provocan compromisos de CEOs y rechazo político

Altos directivos de inteligencia artificial apoyaron durante el fin de semana llamadas a ralentizar el desarrollo de modelos avanzados, convirtiendo las advertencias sobre la extinción humana en una disputa sobre la responsabilidad empresarial, la supervisión gubernamental y la competencia con China.

La intervención del consejero delegado de Anthropic, Dario Amodei, el sábado contó con el respaldo de Sam Altman de OpenAI, Elon Musk y Demis Hassabis de Google DeepMind.

Su inusual convergencia siguió a advertencias públicas de investigadores de que sistemas cada vez más capaces podrían volverse difíciles de controlar.

Pero el acuerdo en la necesidad de cautela dejó sin resolver las preguntas más difíciles, como cuánto debe ralentizarse el desarrollo, quién haría cumplir las restricciones y si los competidores aceptarían los mismos límites.

Para el lunes, la incertidumbre había llegado a los mercados financieros, con acciones asiáticas vinculadas a la IA cayendo mientras los inversores evaluaban las implicaciones para una industria basada en avances tecnológicos rápidos.

Las advertencias de los investigadores obligan a una reflexión más amplia

La controversia inmediata comenzó antes del fin de semana, cuando el investigador Jacob Coxon anunció su dimisión de Anthropic y acusó tanto a la compañía como a su anterior empleador, OpenAI, de actuar de forma irresponsable.

Su intervención tuvo un peso particular porque había trabajado directamente en el entrenamiento de modelos de IA. Trasladó preocupaciones que habitualmente se debaten entre investigadores a una discusión pública mucho más amplia.

El investigador de alineación de Anthropic, Evan Hubinger, reforzó la advertencia al situar públicamente su estimación personal de que la IA podría causar la extinción humana en la próxima década por encima del 10%. Esa cifra fue una valoración individual, más que una probabilidad medida o un consenso científico.

El debate también tuvo un trasfondo técnico concreto.

Una investigación del evaluador independiente METR encontró que aproximadamente 1.200 agentes intercambiaron más de 70.000 mensajes y archivos en un tablón de mensajes no autorizado durante experimentos de julio que involucraron sistemas de OpenAI. Unos 700 atacaron a Hugging Face.

Los incidentes demostraron fallos de contención y supervisión, aunque no establecieron que las predicciones más amplias sobre la extinción humana se vayan a materializar.

Una carrera más lenta aún necesita reglas ejecutables

En su ensayo del sábado, We Must Pace the Frontier, Amodei argumentó que el trabajo de seguridad necesitaba más tiempo para ponerse al día con los avances en las capacidades de la IA.

Citó el papel creciente de la IA en el desarrollo de sistemas posteriores y los incidentes de ciberseguridad anteriores.

Amodei también advirtió que grupos de agentes más capaces podrían potencialmente causar una extensa interrupción de internet en un plazo de seis a 12 meses, presentándolo como un escenario de riesgo.

Su propuesta combinaba evaluadores externos incrustados, coordinación entre empresas en países democráticos y una eventual cooperación internacional.

Anthropic se comprometió a incorporar evaluadores con acceso comparable al de los empleados, sujetos a restricciones especificadas. La propuesta no anunció una suspensión del entrenamiento de modelos.

Altman respaldó el enfoque y dijo que OpenAI también proporcionaría evaluadores independientes con acceso similar al de los empleados.

Gary Marcus valoró el acuerdo inicial pero reclamó compromisos exigibles.

«Espero que lo firmen con sangre y que pongan dientes reales a su acuerdo», escribió en Marcus on AI. También cuestionó si las empresas deberían seleccionar a sus propios evaluadores.

Stuart Russell dijo a The Guardian: «Establecemos los requisitos de seguridad y el progreso adicional solo ocurre cuando se cumplen».

Para cualquier acuerdo, la prueba práctica será si una evaluación desfavorable cambia las decisiones de una empresa.

El acceso y la divulgación pueden mejorar el escrutinio, pero las consecuencias de no superar una evaluación de seguridad aún deben definirse.

La competencia con China complica la cooperación

Las respuestas políticas pusieron de manifiesto otro obstáculo, ya que los líderes estadounidenses siguen reacios a sacrificar una ventaja frente a China.

El domingo, el presidente de la Cámara, Mike Johnson, instó a los directivos de IA a trabajar con el Congreso y la Casa Blanca en salvaguardias mientras resistían una moratoria.

Adujo que restricciones excesivas podrían debilitar la posición de EE. UU. frente a sus competidores.

El presidente Donald Trump también rechazó las llamadas a una desaceleración, subrayando la importancia de mantener el liderazgo estadounidense.

El propio marco de Amodei reflejaba esa tensión.

Además de la cooperación, abogó por restricciones al acceso de China a chips potentes y por una acción más contundente contra la destilación de modelos no autorizada, mediante la cual los desarrolladores pueden aprender a partir de las salidas de otro modelo.

El lunes, el Global Times, respaldado por el Estado chino, atacó la propuesta como un intento de preservar la dominancia tecnológica de EE. UU. Su crítica fue un comentario de medios estatales, más que una posición formal de negociación del gobierno.

Las posiciones enfrentadas dejan un difícil problema de negociación.

Los gobiernos necesitarían la confianza de que la cooperación en seguridad no daría a los rivales la oportunidad de avanzar sin controles.

Los inversores sopesan una progresión más lenta frente a la demanda existente

La sesión del lunes mostró lo rápido que la incertidumbre sobre el desarrollo de la IA puede afectar las valoraciones. SoftBank cayó un 13,2%, Kioxia se deslizó un 9,8% y SK Hynix se hundió un 5,3% durante la negociación asiática.

El calendario de salida a bolsa de OpenAI también atrajo atención. En una entrevista publicada el sábado, Altman descartó una OPV en 2026, citando preocupaciones de seguridad y trabajo adicional.

No obstante, mejoras más lentas en las capacidades de los modelos no significarían automáticamente una demanda más débil de infraestructura informática.

«Que los tres consejeros delegados acuerden desacelerar las cosas no cambia realmente el dinero que se gasta en chips, energía e infraestructura», dijo Billy Leung, estratega de inversión en Global X, en un reportaje de Bloomberg.

Leung afirmó que la adopción continua, junto con avances más medidos, podría dar a las empresas tiempo para generar retornos a partir de la infraestructura que ya se está construyendo.

Para los inversores, la siguiente evidencia vendrá de los planes de gasto, los calendarios de lanzamientos y los términos de la supervisión externa.

Esas decisiones mostrarán si los compromisos del fin de semana cambian las suposiciones operativas de la industria.