Ερευνητής της Anthropic παραιτείται: η AI «παίζει με ζωές» — κίνδυνος εξαφάνισης >10%

Ο ερευνητής της Anthropic, Jacob Coxon, παραιτήθηκε από την Anthropic με μια σαφή προειδοποίηση: τα εργαστήρια αιχμής κινούνται προς συστήματα που ενδέχεται τελικά να μην μπορούν να ελέγξουν.

Ο Coxon, που πέρασε τρία χρόνια διεξάγοντας έρευνα προεκπαίδευσης σε OpenAI και Anthropic, δήλωσε ότι και οι δύο εταιρείες επιδιώκουν μια αυτοβελτιούμενη υπερνοημοσύνη ενώ αναλαμβάνουν ρίσκα που δεν επιθυμεί πλέον να βοηθήσει να επιταχυνθούν.

Η αποχώρησή του απέκτησε μεγαλύτερο βάρος αφότου ο Evan Hubinger, επικεφαλής του Alignment Science στην Anthropic, είπε ότι προσωπικά εκτιμά πάνω από 10% πιθανότητα η AI να εξαλείψει την ανθρωπότητα μέσα στην επόμενη δεκαετία.

Αυτό το ποσοστό είναι η προσωπική εκτίμηση του Hubinger, όχι πρόβλεψη της Anthropic, και τόνισε ότι τα τρέχοντα μοντέλα ενέχουν σχετικά χαμηλό κίνδυνο.

Ο Coxon: το ίδιο το «κούρσα» είναι το πρόβλημα

Ο Coxon δεν περιορίζεται στο να υποστηρίξει απλώς ότι η Anthropic αγνοεί την ασφάλεια.

Ανακοινώνοντας την παραίτησή του, είπε ότι οι άνθρωποι στην Anthropic κατανοούν τα πιθανά συμφέροντα αλλά παραμένουν παγιδευμένοι σε έναν ανταγωνισμό που επιβραβεύει την ταχύτερη προώθηση, επειδή ένα άλλο εργαστήριο ενδέχεται αλλιώς να φτάσει πρώτο στην υπερνοημοσύνη.

«Τρέχουν κατευθείαν προς μια αυτοβελτιούμενη υπερνοημοσύνη και ρισκάρουν τις ζωές μας», έγραψε ο Coxon.

Ο ερευνητής αποφάσισε να αποχωρήσει από τη βιομηχανία της AI επειδή δεν θέλει πλέον να συμμετέχει στην κατασκευή συστημάτων που θα μπορούσαν να γίνουν ανεξέλεγκτα.

Είπε στη Wall Street Journal ότι σε επιθετικά σενάρια τα πράγματα θα μπορούσαν να είναι «εκτός ελέγχου» μέχρι το τέλος του επόμενου έτους.

Αυτό το χρονοδιάγραμμα παραμένει εκτίμηση του Coxon. Αλλά το επιχείρημά του εγείρει ένα πιο δύσκολο ερώτημα διακυβέρνησης: μια εταιρεία μπορεί να παίρνει σοβαρά την ασφάλεια και παρ’ όλα αυτά να συμβάλλει σε έναν επικίνδυνο αγώνα εάν ο ανταγωνισμός κάνει το να επιβραδύνεις να μοιάζει αδύνατο.

Αυτό αμφισβητεί την ιδέα ότι καλύτερες κουλτούρες ασφάλειας εντός μεμονωμένων εταιρειών αρκούν.

Επίσης διαβάστε- Η αντιπαράθεση Anthropic-Πεντάγωνο θέτει το κεντρικό ερώτημα: ποιος έχει την ευθύνη αν η AI σκοτώσει;

Η εκτίμηση 10% του Hubinger αποκαλύπτει την αντίφαση

Η απάντηση του Hubinger μετέτρεψε την παραίτηση σε ευρύτερη συζήτηση για την αιχμή της AI.

Ο επικεφαλής του Alignment Science στην Anthropic είπε ότι ερευνητές στον χώρο της αιχμής της AI πιστεύουν πραγματικά ότι η προηγμένη AI μπορεί να σκοτώσει την ανθρωπότητα. Η δική του εκτίμηση τοποθετεί αυτόν τον κίνδυνο πάνω από 10% μέσα στην επόμενη δεκαετία.

Πρόσθεσε επίσης ότι η Anthropic «κάνει ό,τι καλύτερο μπορεί», αναγνωρίζοντας ταυτόχρονα ότι η εταιρεία δεν έχει ακόμη ένα σχέδιο για τη λύση της ευθυγράμμισης στην υπερνοημοσύνη και δεν είναι σαφές ότι βαδίζει προς αυτή την κατεύθυνση.

Ο Hubinger διευκρίνισε αργότερα ότι θεωρεί τον κίνδυνο από τα σημερινά μοντέλα χαμηλό. Η ανησυχία του επικεντρώνεται σε μελλοντική υπερνοημοσύνη που θα προκύψει μέσω αναδρομικής αυτοβελτίωσης, όπου τα συστήματα AI όλο και περισσότερο βοηθούν στο σχεδιασμό και τη βελτίωση των διαδόχων τους.

Η Anthropic έχει δηλώσει δημόσια ότι η αναδρομική αυτοβελτίωση δεν είναι αναπόφευκτη, αλλά θα μπορούσε να εμφανιστεί νωρίτερα από ό,τι είναι έτοιμοι οι θεσμοί και να αυξήσει τον κίνδυνο απώλειας ελέγχου από τους ανθρώπους.

Η αντίφαση είναι δύσκολο να αγνοηθεί: οι ερευνητές προσπαθούν να λύσουν την ευθυγράμμιση ενώ τα συστήματα που μελετούν συνεχίζουν να γίνονται πιο ικανά.

Ο ανταγωνισμός ίσως είναι πιο δύσκολο να λυθεί από την ευθυγράμμιση

Η παραίτηση του Coxon τελικώς δείχνει πέρα από μια εταιρεία.

Εάν τα ηγετικά εργαστήρια πιστεύουν ότι η επιβράδυνση θα έδινε πλεονέκτημα σε έναν αντίπαλο, μια σοβαρή εσωτερική ανησυχία ίσως να μην μεταφραστεί σε πιο αργή ανάπτυξη.

Ο ερευνητής AI Gary Marcus είπε, σε σχόλια που μεταφέρθηκαν από το Techmeme, ότι δεν συμφωνεί με κάθε μέρος του επιχειρήματος του Coxon αλλά το βρήκε «συγκινητικό και ενημερωμένο εκ των έσω» και πως αξίζει να ακουστεί.

Αυτό λειτουργεί ως χρήσιμο αντίβαρο, επειδή οι διεκδικήσεις για πιθανότητες εξαφάνισης και χρονοδιαγράμματα υπερνοημοσύνης παραμένουν βαθιά επισφαλείς.

Η Anthropic μπορεί να επενδύει στην έρευνα ευθυγράμμισης, να δημοσιεύει εκθέσεις κινδύνου και να χτίζει ασφάλειες, ενώ ταυτόχρονα λειτουργεί σε μια αγορά όπου η OpenAI και άλλοι ανταγωνιστές ωθούν τις δυνατότητες προς τα εμπρός.

Η αποχώρηση του Coxon θέτει το ερώτημα τι συμβαίνει όταν ερευνητές εντός αυτών των εργαστηρίων θεωρούν ότι οι αρνητικές συνέπειες είναι ουσιώδεις, παραδέχονται ότι ο έλεγχος δεν έχει λυθεί και παρ’ όλα αυτά αντιμετωπίζουν κίνητρα να συνεχίσουν τον αγώνα.