METAs nye AI Evaluator vil transformere træning i store sprogmodeller, her er hvordan

For blot to måneder siden blev OpenAI's CEO Sam Altman hørt sige, at træning af AI på syntetiske data (dvs. data genereret af AI) kunne føre til upålidelige AI-modeller.

METAs seneste AI-evaluator, som blev annonceret på samme tid, er allerede ude på at bevise, at Altman tager fejl.

Metas Self-Taught AI Evaluator er designet til at hjælpe udviklingen af store sprogmodeller ved at give dem mulighed for selvevaluering og selvforbedring uden menneskelig indgriben.

I øjeblikket kræver forbedringer af LLM en ineffektiv proces, hvor dygtige mennesker tjekker svarene for nøjagtighed, hvilket betydeligt øger dets adoptionstider og -omkostninger.

Desuden kræver processen menneskeskabte data, noget der kun er tilgængeligt i en begrænset mængde.

METAs nye model kan nu generere data, der kan bruges til at træne andre AI-modeller, hvilket betyder, at ét problem allerede er løst.

Det betyder også, at mennesker ikke vil være nødvendige for at overvåge kvaliteten af de data, der føres til AI-modeller. Det vil AI-evaluatoren også tage sig af.

Nøglefunktioner i den selvlærte evaluator

Den nye model har to hovedfunktioner, der kan transformere AI-industrien.

For det første bruger den en autonom læringsfunktion til at generere opgaver og vurdere deres ydeevne, hvilket eliminerer behovet for dygtige mennesker til at verificere de anvendte data og svar givet for at løse den aktuelle opgave.

Dette reducerer tid og omkostninger forbundet med modeludvikling og forbedring, hvilket bringer skalerbarhed, et nøglekrav fra virksomheder, der skal bruge modellerne på tværs af flere platforme og til forskellige brugeres behov.

Derudover reducerer denne reducerede menneskelige deltagelse også den potentielle skævhed, der indføres i modellen af mennesker.

For det andet bruges en "Chain of Thought"-ræsonneringsteknik til at efterligne menneskelig ræsonnement ved at give en række mellemliggende trin til løsning af komplekse opgaver i stedet for at give et lige svar.

Til dette kan modellen lære af tidligere succesfulde ræsonnementer brugt til at løse lignende problemer.

Hvorfor er dette en big deal?

At kunne generere syntetiske data til at træne og evaluere andre AI-modeller er en stor sag for virksomheder, der ønsker at bruge AI i kundesupport, medarbejderuddannelse eller juridisk analyse.

For eksempel, brugt i en kundesupport chatbot, kan modellen opdele problemet i en række mindre trin for at verificere de mulige årsager til problemet og guide kunden til at finde en løsning.

I et andet scenarie kan modellen dekonstruere en virksomheds interne regler og procedurer for at forbedre uddannelsesprogrammet for nye medarbejdere.

Virksomheder kan hurtigt tilpasse disse modeller til deres egne behov uden først at bygge deres egen model, noget de har været nødt til at gøre indtil nu.

Risici ved implementering

Implementeringen af sådanne AI-systemer har risici og udfordringer, som, hvis de ikke overvejes, kan resultere i større problemer i fremtiden.

Kvaliteten af frømodellen vil altid definere dens effektivitet, og hvor meget den kan stole på, når den bruges i virkelige applikationer: Hvis modellen er mangelfuld, kan svaret også være mangelfuldt.

På den anden side kan mangel på menneskelig overvågning føre til falsk information, der antages som pålidelige input, der vil producere forkerte eller suboptimale svar. Modellen kunne også give et præcist svar efter at have brugt den forkerte logik.

Selvom modellen ser ud til at fungere godt i teorien, vil kun tiden vise, om den pålideligt kan udføre de opgaver, vi forventer, den skal.

I betragtning af tempoet i AI-udviklingen behøver vi måske ikke vente ret længe.