AVALIAÇÃO DE IA • PRINCETON UNIVERSITY

MLRC 2025 em Princeton: cinco princípios para avaliar LLMs com resultados reproduzíveis

No Machine Learning Reproducibility Challenge 2025, hospedado pelo Princeton AI Lab, aprofundamos um problema decisivo para a adoção responsável de LLMs: como saber se um resultado é robusto, comparável e reproduzível — e não apenas um bom número obtido uma única vez.

8 minPublicado em 21 de julho de 2026

O MLRC 2025 reuniu a comunidade em Princeton para discutir avaliação e reprodutibilidade em machine learning.

Modelos de linguagem são probabilísticos, dependem de uma cadeia extensa de software e hardware e respondem a detalhes aparentemente pequenos. Isso torna a avaliação mais próxima de um processo experimental contínuo do que de uma prova única de desempenho.

As aulas, apresentações e discussões no MLRC 2025 reforçaram que qualidade em IA exige método: registrar condições, repetir experimentos, medir incerteza, investigar erros e tratar benchmarks como instrumentos que também precisam evoluir.

INTELIGÊNCIA ARTIFICIAL

Cinco aprendizados para equipes que constroem com LLMs

01
Reprodutibilidade ainda é um desafio central
Mudanças mínimas em prompts, exemplos, ordem, código, dependências ou parâmetros podem alterar o resultado. Uma avaliação confiável registra versões e configurações, preserva entradas e saídas e executa repetições suficientes para medir variação.
02
Benchmarks envelhecem junto com os modelos
A prática evoluiu de cenários de fine-tuning, como os popularizados na era BERT, para in-context learning e interfaces conversacionais com raciocínio. Testes antigos podem saturar, vazar para dados de treinamento ou deixar de representar o uso real.
03
Determinismo tem custo e limites
Execuções totalmente determinísticas podem ser muito mais lentas — nas discussões, houve exemplos chegando a cerca de sete vezes o custo. Mesmo com a mesma seed, diferenças entre CPU, GPU, kernels ou modos de inferência podem mudar resultados. O caminho prático é medir distribuições e documentar o ambiente.
04
Acesso a dados virou parte do risco científico
Conjuntos antes abertos podem passar a exigir licenças caras ou desaparecer, impedindo que terceiros reproduzam resultados de estado da arte. Governança de dados, versões preservadas e alternativas públicas precisam entrar no desenho do experimento.
05
Boas práticas valem mais que um único recorde
Compartilhar código e saídas, aplicar bootstrap e intervalos de confiança, fazer análise de erros e construir benchmarks mais difíceis e bem anotados produz evidência mais útil do que perseguir apenas a melhor posição em um leaderboard.

Da demonstração ao sistema de avaliação

Em projetos empresariais, uma demonstração convincente não basta. É preciso definir tarefas representativas, critérios de sucesso, conjuntos de teste protegidos, avaliações automáticas e humanas, segmentação por risco e monitoramento após a entrada em produção.

Também é importante separar capacidades: qualidade factual, aderência à instrução, segurança, latência, custo, estabilidade, uso de ferramentas e experiência do usuário não cabem em uma métrica única. Um score agregado pode esconder exatamente o comportamento que mais importa para o negócio.

Como aplicamos esses princípios

Na EAGLE BS, tratamos avaliação como parte da arquitetura de IA. Antes de escalar, construímos uma linha de base, registramos prompts, modelos e versões, definimos casos críticos, acompanhamos regressões e conectamos métricas técnicas aos resultados esperados pelo usuário.

Reprodutibilidade não significa exigir que todo token seja idêntico. Significa produzir evidência suficiente para entender a variação, repetir a decisão e explicar por que uma solução está pronta — ou ainda não está — para determinado contexto.

Aprender com uma comunidade rigorosa

Somos gratos pelos aprendizados compartilhados por Koustuv Sinha, Jessica Forde, Adina Williams, Michael Rabbat, Naila Murray, Joelle Pineau, Arvind Narayanan, Hugo Larochelle, Robert Stojnic, Jesse Dodge, Sasha Luccioni, Stella Biderman e toda a comunidade presente.

A principal mensagem que levamos é simples: o objetivo não é apenas alcançar o melhor número da tabela, mas garantir que resultados sejam robustos, transparentes, explicáveis e reproduzíveis o suficiente para sustentar decisões reais.