METAs nye AI Evaluator vil transformere opplæring i store språkmodeller, her er hvordan

For bare to måneder siden ble OpenAIs administrerende direktør Sam Altman hørt si at trening av AI på syntetiske data (dvs. data generert av AI) kan føre til upålitelige AI-modeller.

METAs siste AI-evaluator, som ble annonsert samtidig, er allerede ute etter å bevise at Altman tar feil.

Metas Self-Taught AI Evaluator er designet for å hjelpe utviklingen av store språkmodeller ved å la dem selvevaluere og selvforbedre uten menneskelig innblanding.

Foreløpig krever forbedring av LLM en ineffektiv prosess der dyktige mennesker sjekker svarene for nøyaktighet, noe som øker brukstidene og kostnadene betraktelig.

Dessuten krever prosessen menneskeskapte data, noe som kun er tilgjengelig i begrenset mengde.

METAs nye modell kan nå generere data som kan brukes til å trene andre AI-modeller, noe som betyr at ett problem allerede er løst.

Det betyr også at mennesker ikke vil være nødvendige for å overvåke kvaliteten på dataene som mates til AI-modeller. AI-evaluatoren vil også ta seg av det.

Nøkkelfunksjoner til den selvlærte evaluatoren

Den nye modellen har to hovedfunksjoner som kan forvandle AI-industrien.

For det første bruker den en autonom læringsfunksjon for å generere oppgaver og vurdere ytelsen deres, og eliminerer behovet for dyktige mennesker for å verifisere dataene som brukes og svarene som er gitt for å løse oppgaven.

Dette reduserer tid og kostnader forbundet med modellutvikling og forbedring, og gir skalerbarhet, et nøkkelkrav fra selskaper som må bruke modellene på tvers av flere plattformer og for ulike brukeres behov.

I tillegg reduserer denne reduserte menneskelige deltakelsen også den potensielle skjevheten introdusert i modellen av mennesker.

For det andre brukes en "Chain of Thought"-resonneringsteknikk for å etterligne menneskelig resonnement ved å gi en rekke mellomtrinn mot å løse komplekse oppgaver, i stedet for å gi et rett svar.

For dette kan modellen lære av tidligere vellykkede resonnementer brukt for å løse lignende problemer.

Hvorfor er dette en stor sak?

Å kunne generere syntetiske data for å trene og evaluere andre AI-modeller er en stor sak for selskaper som ønsker å bruke AI i kundestøtte, opplæring av ansatte eller juridisk analyse.

For eksempel, brukt i en kundestøtte chatbot, kan modellen bryte ned problemet i en rekke mindre trinn for å verifisere mulige årsaker til problemet og veilede kunden til å finne en løsning.

I et annet scenario kan modellen dekonstruere en bedrifts interne regler og prosedyrer for å forbedre opplæringsprogrammet for nyansatte.

Bedrifter kan raskt tilpasse disse modellene til sine egne behov uten først å bygge sin egen modell, noe de har måttet gjøre til nå.

Risikoer ved implementering

Implementeringen av slike AI-systemer har risikoer og utfordringer som, hvis de ikke vurderes, kan føre til større problemer i fremtiden.

Kvaliteten på frømodellen vil alltid definere dens effektivitet og hvor mye den kan stole på når den brukes i virkelige applikasjoner: hvis modellen er feil, kan svaret også være feil.

På den annen side kan mangel på menneskelig tilsyn føre til falsk informasjon antatt som pålitelige input som vil gi feil eller suboptimale svar. Modellen kan også gi et nøyaktig svar etter å ha brukt feil logikk.

Selv om modellen ser ut til å fungere bra i teorien, vil bare tiden vise om den pålitelig kan utføre oppgavene vi forventer.

Med tanke på tempoet i AI-utviklingen, trenger vi kanskje ikke vente veldig lenge.