O novo AI Evaluator da META transformará o treinamento de modelos de linguagem em larga escala. Veja como

Apenas dois meses atrás, o CEO da OpenAI, Sam Altman, foi ouvido dizendo que treinar IA em dados sintéticos (ou seja, dados gerados por IA) poderia levar a modelos de IA não confiáveis.

O mais recente avaliador de IA da META, que foi anunciado na mesma época, já está aqui para provar que Altman estava errado.

O avaliador de IA autodidata da Meta foi projetado para ajudar no desenvolvimento de grandes modelos de linguagem, permitindo que eles se autoavaliem e se autoaprimorem sem intervenção humana.

Atualmente, o aprimoramento dos LLMs exige um processo ineficiente no qual humanos qualificados verificam a precisão das respostas, o que eleva consideravelmente seus tempos de adoção e custos.

Além disso, o processo requer dados gerados por humanos, algo que só está disponível em quantidade finita.

O novo modelo do META agora pode gerar dados que podem ser usados para treinar outros modelos de IA, o que significa que um problema já foi resolvido.

Isso também significa que humanos não serão necessários para supervisionar a qualidade dos dados que estão sendo alimentados para modelos de IA. O avaliador de IA cuidará disso também.

Principais características do Avaliador Autodidata

O novo modelo tem duas características principais que podem transformar o setor de IA.

Primeiro, ele usa um recurso de aprendizado autônomo para gerar tarefas e avaliar seu desempenho, eliminando a necessidade de humanos qualificados para verificar os dados usados e as respostas dadas para resolver a tarefa em questão.

Isso reduz o tempo e os custos associados ao desenvolvimento e melhoria de modelos, trazendo escalabilidade, um requisito essencial para corporações que precisam usar modelos em diversas plataformas e para atender às necessidades de diferentes usuários.

Além disso, essa participação humana reduzida também reduz o potencial viés introduzido no modelo pelos humanos.

Em segundo lugar, uma técnica de raciocínio de “Cadeia de Pensamento” é usada para emular o raciocínio humano, fornecendo uma série de etapas intermediárias para resolver tarefas complexas, em vez de fornecer uma resposta direta.

Para isso, o modelo pode aprender com raciocínios bem-sucedidos anteriores usados para resolver problemas semelhantes.

Por que isso é tão importante?

Ser capaz de gerar dados sintéticos para treinar e avaliar outros modelos de IA é muito importante para empresas que desejam usar IA em suporte ao cliente, treinamento de funcionários ou análise jurídica.

Por exemplo, usado em um chatbot de suporte ao cliente, o modelo pode dividir o problema em uma série de etapas menores para verificar as possíveis causas do problema e orientar o cliente a encontrar uma solução.

Em outro cenário, o modelo pode desconstruir as regras e procedimentos internos de uma empresa para melhorar o programa de treinamento para novos funcionários.

As corporações podem ajustar rapidamente esses modelos às suas próprias necessidades sem primeiro criar seu próprio modelo, algo que elas tiveram que fazer até agora.

Riscos da implementação

A implementação de tais sistemas de IA apresenta riscos e desafios que, se não forem considerados, podem resultar em problemas maiores no futuro.

A qualidade do modelo semente sempre definirá sua eficácia e o quanto ele pode ser confiável quando usado em aplicações da vida real: se o modelo for falho, a resposta também poderá ser falha.

Por outro lado, a falta de supervisão humana pode levar a informações falsas assumidas como entradas confiáveis que produzirão respostas erradas ou abaixo do ideal. O modelo também pode dar uma resposta precisa após usar a lógica errada.

Embora o modelo pareça estar funcionando bem na teoria, só o tempo dirá se ele poderá executar de forma confiável as tarefas que esperamos.

Considerando o ritmo de desenvolvimento da IA, talvez não tenhamos que esperar muito tempo.