Anthropic-Forscher tritt zurück — KI ‚spielt mit Leben‘; Aussterberisiko über 10%

Anthropic-Forscher Jacob Coxon hat bei Anthropic gekündigt und warnt deutlich: Frontier-Labore rasen auf Systeme zu, die sie am Ende möglicherweise nicht kontrollieren können.

Coxon, der drei Jahre Pretraining-Forschung bei OpenAI und Anthropic betrieben hat, sagte, beide Unternehmen verfolgten eine sich selbst verbessernde Superintelligenz und nähmen Risiken in Kauf, die er nicht länger mit vorantreiben wolle.

Sein Rücktritt gewann an Gewicht, nachdem Evan Hubinger, Leiter der Alignment Science bei Anthropic, erklärt hatte, er sehe persönlich eine Chance von mehr als 10 %, dass KI innerhalb des nächsten Jahrzehnts alle Menschen töten könnte.

Diese Zahl ist Hubingers persönliche Schätzung, keine Prognose von Anthropic, und er betonte, dass heutige Modelle ein relativ geringes Risiko darstellten.

Coxon: Das Rennen selbst ist das Problem

Coxon behauptet nicht einfach, Anthropic ignoriere Sicherheitsfragen.

Bei der Ankündigung seines Rücktritts sagte er, die Menschen bei Anthropic verständen die möglichen Einsätze, seien aber in einem Wettbewerb gefangen, der schnelleres Vorgehen belohnt, weil sonst ein anderes Labor zuerst Superintelligenz erreichen könnte.

„Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“, schrieb Coxon.

Der Forscher hat entschieden, die KI-Branche zu verlassen, weil er nicht länger an der Entwicklung von Systemen mitwirken will, die unkontrollierbar werden könnten.

Er sagte dem Wall Street Journal, dass unter aggressiven Szenarien die Lage bis Ende des nächsten Jahres „außer Kontrolle“ geraten könne.

Dieser Zeitplan ist Coxons Einschätzung. Seine Argumentation wirft jedoch eine schwierigere Governance-Frage auf: Ein Unternehmen kann Sicherheit ernst nehmen und trotzdem zu einem gefährlichen Rennen beitragen, wenn der Wettbewerbsdruck ein verlangsamtes Vorgehen unmöglich erscheinen lässt.

Das stellt die Idee in Frage, dass bessere Sicherheitskulturen in einzelnen Unternehmen ausreichen würden.

Weiterlesen: Anthropic-Pentagon-Konflikt wirft zentrale Frage auf: Wer ist verantwortlich, wenn KI tötet?

Hubingers 10%-Schätzung legt den Widerspruch offen

Hubingers Reaktion verwandelte den Rücktritt in eine breitere Debatte über Frontier-KI.

Der Leiter der Alignment Science bei Anthropic sagte, Forscher innerhalb der Frontier-KI glaubten ernsthaft, dass fortgeschrittene KI die Menschheit töten könnte. Seine eigene Schätzung setzt dieses Risiko innerhalb des nächsten Jahrzehnts über 10 %.

Er sagte außerdem, Anthropic versuche sein Möglichstes, räumte aber ein, dass das Unternehmen noch keinen Plan habe, Alignment für Superintelligenz zu lösen, und nicht klar auf Kurs dafür sei.

Hubinger präzisierte später, dass er das Risiko durch heutige Modelle als gering einschätzt. Seine Sorge richtet sich auf eine zukünftige Superintelligenz, die durch rekursive Selbstverbesserung entsteht, also wenn KI-Systeme zunehmend bei der Gestaltung und Verbesserung ihrer Nachfolger helfen.

Anthropic hat öffentlich erklärt, rekursive Selbstverbesserung sei nicht unvermeidlich, könnte aber früher eintreten, als Institutionen darauf vorbereitet sind, und das Risiko erhöhen, dass Menschen die Kontrolle verlieren.

Der Widerspruch ist schwer zu übersehen: Forscher versuchen, Alignment zu lösen, während die Systeme, die sie untersuchen, weiterhin leistungsfähiger werden.

Wettbewerb könnte schwerer zu lösen sein als Alignment

Coxons Rücktritt weist letztlich über ein einzelnes Unternehmen hinaus.

Wenn führende Labore glauben, ein verlangsamtes Vorgehen könne einem Rivalen einen Vorteil verschaffen, dann kann ernsthafte interne Besorgnis nicht in langsamere Entwicklung übersetzt werden.

KI-Forscher Gary Marcus sagte, laut Techmeme-Berichten, er stimme nicht jedem Teil von Coxons Argument zu, finde es aber „überzeugend und aus der Innenperspektive gut informiert“ und halte es für hörenswert.

Das ist ein nützlicher Gegengewicht, denn Aussagen über Aussterbewahrscheinlichkeiten und Zeitpläne für Superintelligenz bleiben tief unsicher.

Anthropic kann in Alignment-Forschung investieren, Risikoberichte veröffentlichen und Schutzmaßnahmen bauen, während es gleichzeitig in einem Markt operiert, in dem OpenAI und andere Rivalen die Fähigkeiten vorantreiben.

Coxons Abgang stellt die Frage, was passiert, wenn Forscher in diesen Laboren den Nachteil als erheblich ansehen, einräumen, dass Kontrolle nicht gelöst ist, und dennoch Anreize haben, weiter zu rasen.