Investigador de Anthropic dimite por IA 'jugando con vidas'; riesgo de extinción >10%

El investigador de Anthropic Jacob Coxon ha dimitido de la compañía con una advertencia tajante: los laboratorios de vanguardia están acelerando hacia sistemas que podrían, en última instancia, ser incontrolables.

Coxon, que pasó tres años investigando preentrenamiento en OpenAI y Anthropic, dijo que ambas empresas persiguen una superinteligencia que se auto-mejora mientras asumen riesgos que él ya no quiere ayudar a acelerar.

Su salida cobró peso después de que Evan Hubinger, líder de Ciencia de Alineamiento de Anthropic, afirmara que personalmente considera que existe más de un 10% de probabilidad de que la IA pueda acabar con toda la humanidad en la próxima década.

Esa cifra es la estimación personal de Hubinger, no una previsión de Anthropic, y subrayó que los modelos actuales presentan un riesgo relativamente bajo.

Coxon dice que la propia carrera es el problema

Coxon no sostiene simplemente que Anthropic ignore la seguridad.

Al anunciar su dimisión, dijo que la gente en Anthropic comprende lo que está en juego, pero sigue atrapada en una competencia que recompensa moverse más rápido porque, de otro modo, otro laboratorio podría alcanzar primero la superinteligencia.

“Están corriendo directamente hacia una superinteligencia que se auto-mejora y apostando con nuestras vidas”, escribió Coxon.

El investigador ha decidido abandonar la industria de la IA porque ya no quiere participar en la construcción de sistemas que podrían volverse incontrolables.

Dijo al Wall Street Journal que, en escenarios agresivos, las cosas podrían estar “fuera de control” a finales del próximo año.

Esa cronología sigue siendo la evaluación de Coxon. Pero su argumento plantea una cuestión de gobernanza más difícil: una empresa puede tomarse la seguridad en serio y aun así contribuir a una carrera peligrosa si la presión competitiva hace que frenar parezca imposible.

Eso cuestiona la idea de que unas mejores culturas de seguridad dentro de cada empresa sean suficientes.

También lea: El choque Anthropic‑Pentágono plantea la pregunta clave: ¿quién tiene la culpa si la IA mata?

La estimación del 10% de Hubinger expone la contradicción

La respuesta de Hubinger convirtió la dimisión en un debate más amplio sobre la IA de vanguardia.

El líder de Ciencia de Alineamiento de Anthropic dijo que los investigadores dentro de la IA de vanguardia creen genuinamente que una IA avanzada podría acabar con la humanidad. Su propia estimación sitúa ese riesgo por encima del 10% en la próxima década.

También dijo que Anthropic está “haciendo lo posible”, al tiempo que reconocía que la compañía aún no tiene un plan para resolver el alineamiento de la superinteligencia y no está claramente en camino de lograrlo.

Hubinger aclaró más tarde que considera bajo el riesgo procedente de los modelos actuales. Su preocupación se centra en una futura superinteligencia que emerja mediante la auto-mejora recursiva, en la que los sistemas de IA ayudan cada vez más a diseñar y mejorar a sus sucesores.

Anthropic ha declarado públicamente que la auto-mejora recursiva no es inevitable, pero podría llegar antes de que las instituciones estén preparadas y podría aumentar el riesgo de que los humanos pierdan el control.

La contradicción es difícil de ignorar: los investigadores intentan resolver el alineamiento mientras los sistemas que estudian siguen haciéndose más capaces.

La competencia puede ser más difícil de resolver que el alineamiento

La dimisión de Coxon apunta, en última instancia, más allá de una sola empresa.

Si los laboratorios líderes creen que reducir el ritmo podría otorgar una ventaja a un rival, una preocupación interna seria puede no traducirse en un desarrollo más lento.

El investigador de IA Gary Marcus dijo, en comentarios recogidos por Techmeme, que no estaba de acuerdo con todas las partes del argumento de Coxon pero lo encontró “convincente e informado desde dentro” y afirmó que merecía ser escuchado.

Eso es un contrapeso útil porque las afirmaciones sobre probabilidades de extinción y cronologías de superinteligencia siguen siendo profundamente inciertas.

Anthropic puede invertir en investigación de alineamiento, publicar informes de riesgo y construir salvaguardas, mientras opera en un mercado donde OpenAI y otros rivales siguen impulsando las capacidades.

La marcha de Coxon plantea qué sucede cuando los investigadores dentro de esos laboratorios creen que el riesgo negativo es material, admiten que el control no está resuelto y aun así enfrentan incentivos para seguir la carrera.