METAs nya AI Evaluator kommer att förvandla utbildning i stora språkmodeller, så här

För bara två månader sedan hördes OpenAI:s VD Sam Altman säga att träning av AI på syntetisk data (dvs data genererad av AI) kan leda till opålitliga AI-modeller.

METAs senaste AI-utvärderare, som tillkännagavs samtidigt, är redan ute efter att bevisa att Altman har fel.

Metas självlärda AI-utvärderare är utformad för att hjälpa utvecklingen av stora språkmodeller genom att låta dem självutvärdera och självförbättra sig utan mänsklig inblandning.

För närvarande kräver förbättringar av LLM en ineffektiv process där skickliga människor kontrollerar svaren för noggrannhet, vilket avsevärt höjer dess adoptionstider och kostnader.

Dessutom kräver processen mänskligt genererad data, något som bara är tillgängligt i ändlig mängd.

METAs nya modell kan nu generera data som kan användas för att träna andra AI-modeller, vilket innebär att ett problem redan är löst.

Det betyder också att människor inte kommer att behövas för att övervaka kvaliteten på data som matas till AI-modeller. AI-utvärderaren kommer också att ta hand om det.

Nyckelfunktioner hos den självlärda utvärderaren

Den nya modellen har två huvudfunktioner som kan förändra AI-branschen.

För det första använder den en autonom inlärningsfunktion för att generera uppgifter och utvärdera deras prestanda, vilket eliminerar behovet av skickliga människor för att verifiera de data som används och de svar som ges för att lösa uppgiften.

Detta minskar tid och kostnader förknippade med modellutveckling och förbättring, vilket ger skalbarhet, ett nyckelkrav från företag som behöver använda modellerna över flera plattformar och för olika användares behov.

Dessutom minskar detta minskade mänskliga deltagande också den potentiella fördomar som introduceras i modellen av människor.

För det andra används en “Chain of Thought”-resonemangsteknik för att efterlikna mänskligt resonemang genom att tillhandahålla en serie mellansteg mot att lösa komplexa uppgifter, istället för att ge ett rakt svar.

För detta kan modellen lära sig av tidigare framgångsrika resonemang som använts för att lösa liknande problem.

Varför är detta en stor sak?

Att kunna generera syntetisk data för att träna och utvärdera andra AI-modeller är en stor sak för företag som vill använda AI i kundsupport, utbildning av anställda eller juridisk analys.

Till exempel, använd i en chatbot för kundsupport, kan modellen dela upp problemet i en serie mindre steg för att verifiera de möjliga orsakerna till problemet och vägleda kunden att hitta en lösning.

I ett annat scenario kan modellen dekonstruera ett företags interna regler och rutiner för att förbättra utbildningsprogrammet för nyanställda.

Företag kan snabbt anpassa dessa modeller till sina egna behov utan att först bygga sin egen modell, något de har varit tvungna att göra hittills.

Risker med genomförande

Implementeringen av sådana AI-system har risker och utmaningar som, om de inte beaktas, kan resultera i större problem i framtiden.

Kvaliteten på frömodellen kommer alltid att definiera dess effektivitet och hur mycket den kan lita på när den används i verkliga tillämpningar: om modellen är felaktig kan svaret också vara felaktigt.

Å andra sidan kan en brist på mänsklig tillsyn leda till att falsk information antas vara tillförlitlig indata som kommer att ge felaktiga eller suboptimala svar. Modellen skulle också kunna ge ett korrekt svar efter att ha använt fel logik.

Även om modellen verkar fungera bra i teorin, kommer bara tiden att utvisa om den på ett tillförlitligt sätt kan utföra de uppgifter vi förväntar oss.

Med tanke på takten i AI-utvecklingen behöver vi kanske inte vänta särskilt länge.