De nieuwe AI Evaluator van META zal de training van grote taalmodellen transformeren, en wel zo

Nog maar twee maanden geleden zei Sam Altman, CEO van OpenAI, dat het trainen van AI met synthetische data (dat wil zeggen data die door AI wordt gegenereerd) zou kunnen leiden tot onbetrouwbare AI-modellen.

META's meest recente AI-evaluator, die tegelijkertijd werd aangekondigd, is er al op uit om Altman ongelijk te geven.

Meta's Self-Taught AI Evaluator is ontworpen om de ontwikkeling van grote taalmodellen te ondersteunen door ze zichzelf te laten evalueren en verbeteren zonder menselijke tussenkomst.

Momenteel is voor de verbetering van LLM's een inefficiënt proces nodig, waarbij geschoolde mensen de antwoorden op juistheid controleren. Dit leidt tot een aanzienlijke verlenging van de implementatietijd en hogere kosten.

Bovendien zijn voor dit proces door mensen gegenereerde gegevens nodig, en die zijn slechts in beperkte hoeveelheden beschikbaar.

Het nieuwe model van META kan nu gegevens genereren die gebruikt kunnen worden om andere AI-modellen te trainen. Eén probleem is dus al opgelost.

Het betekent ook dat er geen mensen meer nodig zijn om toezicht te houden op de kwaliteit van de data die aan AI-modellen wordt gevoerd. De AI-evaluator zal daar ook voor zorgen.

Belangrijkste kenmerken van de Self-Taught Evaluator

Het nieuwe model heeft twee belangrijke kenmerken die de AI-industrie zouden kunnen transformeren.

Ten eerste maakt het gebruik van een autonome leerfunctie om taken te genereren en de uitvoering ervan te beoordelen. Hierdoor is het niet langer nodig dat deskundige mensen de gebruikte gegevens en gegeven antwoorden verifiëren om de taak op te lossen.

Hierdoor worden de tijd en kosten voor het ontwikkelen en verbeteren van modellen verminderd en wordt schaalbaarheid bereikt. Dit is een belangrijke vereiste voor bedrijven die de modellen op meerdere platforms en voor de behoeften van verschillende gebruikers willen gebruiken.

Bovendien zorgt deze verminderde menselijke deelname ervoor dat de potentiële vertekening die mensen in het model introduceren, afneemt.

Ten tweede wordt een ‘Chain of Thought’-redeneringstechniek gebruikt om menselijk redeneren na te bootsen door een reeks tussenstappen te bieden voor het oplossen van complexe taken, in plaats van een eenduidig antwoord te geven.

Hiervoor kan het model leren van eerdere, succesvolle redeneringen die zijn gebruikt om soortgelijke problemen op te lossen.

Waarom is dit zo belangrijk?

De mogelijkheid om synthetische data te genereren om andere AI-modellen te trainen en evalueren, is van groot belang voor bedrijven die AI willen gebruiken voor klantenondersteuning, werknemerstraining of juridische analyses.

Bijvoorbeeld, in een chatbot voor klantenondersteuning kan het model het probleem opsplitsen in een reeks kleinere stappen om de mogelijke oorzaken van het probleem te verifiëren en de klant te begeleiden bij het vinden van een oplossing.

In een ander scenario kan het model de interne regels en procedures van een bedrijf ontleedden om het trainingsprogramma voor nieuwe werknemers te verbeteren.

Bedrijven kunnen deze modellen snel aanpassen aan hun eigen behoeften, zonder dat ze eerst hun eigen model hoeven te bouwen. Dat was tot nu toe wel het geval.

Risico's van implementatie

De implementatie van dergelijke AI-systemen brengt risico's en uitdagingen met zich mee. Als deze niet in overweging worden genomen, kunnen ze in de toekomst tot grotere problemen leiden.

De kwaliteit van het zaadmodel bepaalt altijd de effectiviteit ervan en in hoeverre het betrouwbaar is bij gebruik in de praktijk. Als het model gebrekkig is, kan het antwoord ook gebrekkig zijn.

Aan de andere kant kan een gebrek aan menselijk toezicht leiden tot valse informatie die wordt verondersteld als betrouwbare input, wat tot verkeerde of suboptimale antwoorden leidt. Het model kan ook een accuraat antwoord geven na het gebruiken van de verkeerde logica.

Hoewel het model in theorie goed lijkt te werken, zal alleen de tijd uitwijzen of het de taken die we ervan verwachten, ook daadwerkelijk kan uitvoeren.

Gezien het tempo waarin AI zich ontwikkelt, hoeven we misschien niet lang meer te wachten.