Vad är superintelligens och varför kräver teknikjättarna att det ska förbjudas?

Mer än 800 framstående personer från hela det tekniska, vetenskapliga, politiska och kulturella spektrumet har undertecknat ett offentligt uttalande som kräver ett förbud mot utveckling av "superintelligenta" artificiella intelligenssystem.

Koalitionen, som samordnas av Future of Life Institute och tillkännagavs på onsdagen, inkluderar Apples medgrundare Steve Wozniak, Virgin Groups grundare Richard Branson, fem Nobelpristagare, AI-pionjärerna Geoffrey Hinton och Yoshua Bengio, båda ofta kallade "gudfäder till AI".

Det inkluderar också USA:s tidigare ordförande Mike Mullen, påven Franciskus AI-rådgivare Paolo Benanti och till och med prins Harry och Meghan, hertigen och hertiginnan av Sussex.

Den politiskt mångfaldiga gruppen speglar vad organisatörerna beskriver som en universell oro över de existentiella risker som maskiner utgör som kan överträffa mänsklig intelligens.

Vad är superintelligens?

Superintelligens, ibland kallad artificiell superintelligens eller ASI, hänvisar till en typ av AI som skulle vara smartare än människor på praktiskt taget alla områden som betyder något.

Det skiljer sig mycket från dagens AI-verktyg, som ChatGPT, som faller under kategorin "smal AI" eftersom de är utformade för att utföra specifika uppgifter.

Även de mest avancerade systemen vi har nu, inklusive stora språkmodeller som GPT-5, är fortfarande begränsade.

De kan skriva kod, skriva uppsatser och till och med klara tentor, men de tänker inte självständigt, sätter inte upp sina egna mål eller förstår världen på samma sätt som människor gör.

De förutsäger egentligen bara mönster baserat på träningsdata, inte resonemang om framtiden eller fattar autonoma beslut.

En del forskare tror att nästa milstolpe är AGI, artificiell generell intelligens, som skulle matcha mänsklig intelligens och lära sig nya uppgifter på egen hand.

Men superintelligensen skulle gå mycket längre än så.

I teorin skulle den kunna tänka mer än människor inom vetenskap, strategi, teknik, medicin, i princip alla kognitiva domäner, och skulle kunna lösa problem som för närvarande ligger långt utanför vår räckvidd.

Det är just det exponentiella språnget som debatten om dess risker är så intensiv.

Varför kräver teknikledare ett förbud?

De som undertecknade petitionen säger att den nuvarande kapplöpningen mot superintelligens, ledd av företag som OpenAI, Google och Meta, går mycket snabbare än vad regeringar eller tillsynsmyndigheter kan hålla jämna steg med.

Till och med insiders slår larm: Sam Altman har sagt att han skulle bli förvånad om superintelligensen inte var här 2030, och Meta har gått så långt som att döpa om en del av sin AI-division till "Meta Superintelligence Labs", vilket gör dess ambitioner kristallklara.

I uppropet beskrivs superunderrättelse som en risk i samma skala som pandemier eller kärnvapen.

Den inramningen är inte ny, eftersom den återspeglar ett uttalande från 2023 från AI-chefer som uppmanar världens ledare att behandla risken för AI-utrotning som en högsta global prioritet.

De som stöder förbudet säger att det är existentiella saker som står på spel.

Om superintelligenta system byggs utan starka säkerhetsregler, hävdar de, kan människor förlora kontrollen över kritiska system, drabbas av ekonomisk massförflyttning eller möta mycket värre resultat.

Stuart Russell, AI-säkerhetsforskaren vid UC Berkeley som undertecknade petitionen, betonade att detta inte är menat som ett generellt förbud utan snarare ett krav på att säkerhetsprotokoll ska finnas på plats för en teknik som, enligt sina egna skapare, rimligen skulle kunna göra slut på mänskligheten.

Denna petition är den senaste i en växande våg av samordnade försök att bromsa rusningen mot allt kraftfullare AI.