Hva er superintelligens og hvorfor ber teknologigiganter om forbud?

Mer enn 800 fremtredende personer fra hele teknologien, vitenskapelige, politiske og kulturelle spekteret har signert en offentlig uttalelse som krever et forbud mot utvikling av "superintelligente" kunstige intelligenssystemer.

Koalisjonen, koordinert av Future of Life Institute og kunngjort onsdag, inkluderer Apple-medgründer Steve Wozniak, Virgin Group-grunnlegger Richard Branson, fem nobelprisvinnere, AI-pionerene Geoffrey Hinton og Yoshua Bengio, begge ofte kalt «gudfedre til AI».

Det inkluderer også tidligere US Joint Chiefs-formann Mike Mullen, pave Frans' AI-rådgiver Paolo Benanti, og til og med prins Harry og Meghan, hertugen og hertuginnen av Sussex.

Den politisk mangfoldige gruppen gjenspeiler det arrangørene beskriver som universell bekymring over de eksistensielle risikoene som maskiner utgjør som kan overgå menneskelig intelligens.

Hva er superintelligens?

Superintelligens, noen ganger referert til som kunstig superintelligens eller ASI, refererer til en type AI som ville være smartere enn mennesker på praktisk talt alle områder som betyr noe.

Det er veldig forskjellig fra dagens AI-verktøy, som ChatGPT, som faller inn under kategorien "smal AI" fordi de er designet for å utføre spesifikke oppgaver.

Selv de mest avanserte systemene vi har nå, inkludert store språkmodeller som GPT-5, er fortsatt begrenset.

De kan skrive kode, utarbeide essays og til og med bestå eksamener, men de tenker ikke selvstendig, setter sine egne mål eller forstår verden slik mennesker gjør.

De forutsier egentlig bare mønstre basert på treningsdata, ikke resonnerer om fremtiden eller tar autonome beslutninger.

Noen forskere tror den neste milepælen er AGI, kunstig generell intelligens, som vil matche menneskelig intelligens og lære nye oppgaver på egen hånd.

Men superintelligens ville gå langt utover det.

I teorien kan det overgå mennesker innen vitenskap, strategi, ingeniørfag, medisin, stort sett alle kognitive domener, og kan løse problemer som for tiden er langt utenfor vår rekkevidde.

Det eksponentielle spranget er nettopp grunnen til at debatten rundt risikoene er så intens.

Hvorfor ber teknologiledere om et forbud?

De som signerte oppropet sier at det nåværende kappløpet mot superintelligens, ledet av selskaper som OpenAI, Google og Meta, beveger seg langt raskere enn myndigheter eller regulatorer kan holde tritt med.

Selv innsidere slår alarm: Sam Altman har sagt at han ville bli overrasket om superintelligens ikke var her innen 2030, og Meta har gått så langt som å omdøpe en del av AI-divisjonen til «Meta Superintelligence Labs», noe som gjør ambisjonene krystallklare.

Begjæringen beskriver superetterretning som en risiko på skalaen til pandemier eller atomvåpen.

Denne innrammingen er ikke ny, siden den gjenspeiler en uttalelse fra 2023 fra AI-ledere som oppfordrer verdensledere til å behandle AI-utryddelsesrisiko som en topp global prioritet.

Tilhengere av forbudet sier at innsatsen er eksistensiell.

Hvis superintelligente systemer bygges uten sterke sikkerhetsregler, hevder de, kan mennesker miste kontrollen over kritiske systemer, lide økonomisk masseforskyvning eller møte langt verre utfall.

Stuart Russell, UC Berkeley AI-sikkerhetsforsker som signerte oppropet, understreket at dette ikke er ment å være et generelt forbud, men snarere et krav om at sikkerhetsprotokoller skal være på plass for en teknologi som, ifølge sine egne skapere, plausibelt kan gjøre slutt på menneskeheten.

Denne underskriftskampanjen er den siste i en voksende bølge av koordinerte forsøk på å bremse rushet mot stadig kraftigere AI.