Hvad er superintelligens, og hvorfor opfordrer tech-giganter til at forbyde det?

Mere end 800 fremtrædende personer fra hele det teknologiske, videnskabelige, politiske og kulturelle spektrum har underskrevet en offentlig erklæring, der opfordrer til et forbud mod udvikling af "superintelligente" kunstige intelligenssystemer.

Koalitionen, der koordineres af Future of Life Institute og annonceres onsdag, omfatter Apple-medstifter Steve Wozniak, Virgin Group-grundlægger Richard Branson, fem nobelpristagere, AI-pionererne Geoffrey Hinton og Yoshua Bengio, begge ofte kaldet "gudfædre til AI."

Det omfatter også tidligere US Joint Chiefs-formand Mike Mullen, pave Frans' AI-rådgiver Paolo Benanti og endda prins Harry og Meghan, hertugen og hertuginden af Sussex.

Den politisk mangfoldige gruppe afspejler, hvad arrangørerne beskriver som universel bekymring over de eksistentielle risici, som maskiner udgør, og som kan overgå menneskelig intelligens.

Hvad er superintelligens?

Superintelligens, nogle gange omtalt som kunstig superintelligens eller ASI, refererer til en type AI, der ville være klogere end mennesker på stort set alle områder, der betyder noget.

Det er meget forskelligt fra nutidens AI-værktøjer, såsom ChatGPT, som falder ind under kategorien "smal AI", fordi de er designet til at udføre specifikke opgaver.

Selv de mest avancerede systemer, vi har nu, herunder store sprogmodeller som GPT-5, er stadig begrænsede.

De kan skrive kode, udarbejde essays og endda bestå eksamener, men de tænker ikke selvstændigt, sætter deres egne mål eller forstår verden, som mennesker gør.

De forudsiger i virkeligheden bare mønstre baseret på træningsdata, ikke ræsonnerer om fremtiden eller træffer autonome beslutninger.

Nogle forskere mener, at den næste milepæl er AGI, kunstig generel intelligens, som ville matche menneskelig intelligens og lære nye opgaver på egen hånd.

Men superintelligens ville gå langt ud over det.

I teorien kunne det overgå mennesker inden for videnskab, strategi, teknik, medicin, stort set alle kognitive domæner og kunne løse problemer, der i øjeblikket er langt uden for vores rækkevidde.

Dette eksponentielle spring er præcis grunden til, at debatten om dens risici er så intens.

Hvorfor opfordrer tech-ledere til et forbud?

De, der underskrev underskriftsindsamlingen, siger, at det nuværende kapløb mod superintelligens, ledet af virksomheder som OpenAI, Google og Meta, bevæger sig langt hurtigere, end regeringer eller tilsynsmyndigheder kan følge med.

Selv insidere slår alarm: Sam Altman har sagt, at han ville blive overrasket, hvis superintelligens ikke var her i 2030, og Meta er gået så langt som til at omdøbe en del af sin AI-division til "Meta Superintelligence Labs", hvilket gør dens ambitioner krystalklare.

Underskriftsindsamlingen beskriver superintelligens som en risiko på størrelse med pandemier eller atomvåben.

Denne ramme er ikke ny, da den gentager en erklæring fra 2023 fra AI-ledere, der opfordrer verdens ledere til at behandle AI-udryddelsesrisiko som en topprioritet på globalt plan.

Tilhængere af forbuddet siger, at indsatsen er eksistentiel.

Hvis superintelligente systemer bygges uden stærke sikkerhedsregler, hævder de, kan mennesker miste kontrollen over kritiske systemer, lide under økonomisk massefordrivelse eller stå over for langt værre resultater.

Stuart Russell, UC Berkeley AI-sikkerhedsforsker, der underskrev underskriftsindsamlingen, understregede, at dette ikke er ment som et generelt forbud, men snarere et krav om, at sikkerhedsprotokoller er på plads for en teknologi, der ifølge dens egne skabere sandsynligvis kan gøre en ende på menneskeheden.

Denne underskriftsindsamling er den seneste i en voksende bølge af koordinerede forsøg på at bremse hastværket mod stadig mere kraftfuld AI.