Uma nota resume o conjunto de testes escolhido. Para decidir sobre o uso, é preciso saber quais casos entraram, como foram avaliados e onde o sistema falhou.
Dez erros podem mudar a decisão
Considere uma avaliação hipotética com mil solicitações. O sistema responde corretamente a novecentas e noventa e erra dez. A apresentação destaca 99% de acerto. Agora imagine que os dez erros correspondem a todas as tentativas de acessar informações de outro cliente. O desempenho geral continua sendo 99%, mas a barreira de acesso falhou em todos os casos em que foi testada.
Não se trata de escolher uma porcentagem universalmente aceitável. Trata-se de reconhecer que erros diferentes têm consequências diferentes. Uma saudação pouco natural e a exposição de informação restrita não devem desaparecer dentro da mesma média. O comprador precisa ver o resultado por tipo de situação.
O conjunto de testes já contém uma escolha de prioridade
Se quase todos os exemplos forem simples, a nota refletirá principalmente a capacidade de resolver casos simples. Isso pode ser útil para estimar parte do trabalho rotineiro, mas não demonstra o comportamento em exceções. Incluir exemplos difíceis ajuda a investigar limites; também exige cuidado ao interpretar a média, porque o conjunto deixa de representar automaticamente a frequência real da operação.
Uma saída prática é apresentar resultados separados: tarefas comuns, dados incompletos, informações conflitantes, tentativas fora de escopo e falhas de integração. Informe quantos exemplos existem em cada grupo. Um resultado sem denominador dificulta saber se a conclusão vem de observação abrangente ou de poucos testes.
Defina o erro antes de olhar a resposta
Uma avaliação começa com critérios claros. Para uma consulta documental, acerto pode exigir resposta compatível com a fonte vigente, indicação da referência e ausência de informação inventada. Quando não há documento suficiente, pedir esclarecimento pode ser o comportamento correto. Penalizar toda recusa empurra o sistema a responder mesmo quando deveria parar.
Em tarefas abertas, duas respostas diferentes podem ser boas. O critério deve permitir essa variação sem aceitar qualquer texto convincente. Exemplos comentados ajudam os revisores a interpretar a regra de forma consistente e expõem divergências que uma instrução vaga, como avaliar qualidade, deixaria escondidas.
O avaliador também pode se enganar
Uma revisão automática pode acelerar o trabalho, mas precisa ser confrontada com exemplos examinados por pessoas competentes no assunto. Se o avaliador valoriza fluência e extensão, pode favorecer uma resposta elegante que erra o ponto principal. Se usa palavras-chave rígidas, pode rejeitar uma solução correta expressa de outro modo.
Preserve casos para avaliação que não tenham sido usados diretamente para ajustar o sistema. Repetir indefinidamente o mesmo conjunto conhecido pode melhorar a adaptação à prova sem demonstrar uma melhora equivalente em demandas novas. Quando uma falha real for descoberta, ela pode virar um caso de regressão, mantendo sua origem e critério documentados.
O estado final é uma evidência diferente da conversa
O artigo da Anthropic sobre avaliações de agentes, publicado em janeiro de 2026, distingue a sequência registrada de uma execução do resultado efetivo no ambiente. Para um assistente que abre chamados, por exemplo, dizer que o chamado foi criado não prova que existe um registro correto no sistema de atendimento.
Por isso, avalie também as consequências: destino, conteúdo persistido, duplicidade, permissões e comportamento depois de uma interrupção. Se a tarefa pode ter desfechos variáveis, observe mais de uma execução e apresente essa variabilidade. Uma única tentativa bem-sucedida não caracteriza a estabilidade do fluxo.
Transforme a nota em uma decisão delimitada
O relatório deve permitir decidir quais usos podem avançar, quais precisam de supervisão e quais continuam bloqueados por falhas relevantes. Essa decisão pertence à autoridade responsável pelo contexto; a pontuação é uma entrada para a análise, não uma autorização automática.
Na próxima demonstração, peça para abrir os erros, não apenas o gráfico de acertos. Veja sua distribuição, investigue a consequência e pergunte o que mudou depois da descoberta. Um fornecedor que consegue explicar essas falhas oferece informação muito mais valiosa que uma nota alta sem contexto. É assim que a avaliação deixa de ser uma peça de apresentação e passa a orientar a operação.