Avalie um agente de IA nas tarefas que ele precisa realizar
Idioma: Português (Brasil)
Apresente uma tarefa representativa e o resultado que seu agente deve alcançar. Podemos definir o escopo de um teste com verificações explícitas e um relatório de execuções aprovadas, reprovadas e sem pontuação. Descreva seu projeto para a sapien1
A avaliação de um agente de IA verifica se ele consegue concluir uma tarefa com as informações, ferramentas e restrições que encontrará na prática. Defina o resultado esperado, confira o que mudou e examine as etapas que levaram ao resultado.
A sapien1 ajuda equipes a delimitar conjuntos de tarefas, avaliar dados de avaliação e desenvolver ambientes para testar agentes. Comece com um fluxo de trabalho e com a decisão que você precisa tomar com base na avaliação.
Transforme um fluxo de trabalho em uma tarefa que possa ser testada
Uma tarefa precisa de um estado inicial, uma solicitação e critérios de sucesso observáveis. A mensagem final do agente é parte da evidência. Arquivos produzidos, registros ou o estado das ferramentas também podem indicar se o trabalho foi concluído.
O guia da Anthropic sobre avaliação de agentes distingue a tarefa, cada tentativa, os avaliadores, o registro de execução e o resultado no ambiente. Essas distinções ajudam a identificar se uma falha veio do agente, do teste ou do ambiente.
Imagine que um agente de atendimento receba uma solicitação de mudança de endereço de entrega. O teste pode fornecer o registro do pedido, a solicitação do cliente e a política aplicável. As verificações devem refletir a tarefa real:
| Parte da tarefa | Exemplo de verificação |
|---|---|
| Identificar o pedido | O agente seleciona o pedido indicado na solicitação |
| Aplicar a política | A decisão é compatível com as regras fornecidas e o status do pedido |
| Fazer a alteração | Se a alteração for permitida, o endereço solicitado aparece no registro do pedido. Caso contrário, o endereço permanece igual. |
| Preservar os demais dados | Os itens, as quantidades e os registros não relacionados permanecem inalterados |
| Explicar o resultado | A resposta descreve corretamente a ação realizada ou as informações que ainda faltam |
Esta especificação é ilustrativa. As verificações dependem da sua política e do seu fluxo de trabalho.
Verifique a autorização e o estado resultante
Suponha que um usuário autorize o agente a alterar o endereço do pedido A de 1 Example Lane para 2 Example Lane. O pedido B começa no endereço 3 Example Lane e está fora do escopo da solicitação. O registro fictício abaixo, escrito de antemão, ilustra o que uma verificação de autorização simulada poderia registrar:
| Solicitação do agente à ferramenta | Decisão de autorização | Resultado registrado |
|---|---|---|
| Pedido A: alterar o endereço para 2 Example Lane | Permitida | Alteração realizada |
| Pedido B: alterar o endereço para 4 Example Lane | Negada | Alteração bloqueada |
O registro mostra a solicitação autorizada e a que estava fora do escopo. Neste exemplo, a inspeção do estado confirma que o pedido A está em 2 Example Lane e que o pedido B continua em 3 Example Lane. Uma solicitação negada e uma alteração realizada são resultados diferentes. Guarde a decisão de autorização e o estado final junto com a resposta do agente.
O guia da Anthropic sobre avaliação de agentes distingue o registro de execução de uma tentativa do estado que ela produz. As orientações da AWS sobre autorização de ferramentas abordam a verificação de solicitações feitas pelo agente às ferramentas e a revisão das decisões de permitir ou negar essas solicitações. O registro fictício ilustra uma verificação e não comprova a segurança de um sistema.
Monte um teste a partir de um caso concluído
Suponha que outro histórico fictício de atendimento registre a seguinte sequência. Às 10:00, a pessoa titular verificada do pedido A solicita a mudança do endereço do pedido de 1 Example Lane para 2 Example Lane. O pedido ainda está em preparação para envio. A política em vigor determina que o endereço seja alterado a pedido da pessoa titular verificada antes do envio. Às 10:05, uma nota de atendimento registra que o endereço foi alterado.
Para testar a decisão das 10:00, entregue ao agente a solicitação, o estado original do pedido e a política vigente naquele horário. Inicialize as ferramentas de teste a partir desse estado. Mantenha o pedido em preparação enquanto o agente atua. Disponibilize a nota das 10:05 para quem revisa o teste e mantenha a nota fora das instruções iniciais ao agente e dos registros que suas ferramentas podem acessar durante o teste. Caso contrário, o agente pode ver o resultado antes de receber a tarefa.
A política das 10:00 indica a quem revisa o teste qual é o resultado esperado. O endereço final do pedido A é 2 Example Lane. Exija também que os registros não relacionados permaneçam inalterados. A nota das 10:05 registra o resultado. Use a política para decidir se a ação foi correta. Se não for possível estabelecer a política aplicável ou o estado anterior à ação, separe o caso para revisão. Antes de usar registros reais, confirme a permissão para utilizá-los e trate os campos sensíveis de forma adequada.
O guia de conjuntos de dados do Inspect distingue a entrada enviada ao modelo do resultado de referência que pode servir para a avaliação. Ele explica ainda que arquivos de exemplo podem ser copiados para um ambiente isolado. Verifique instruções, material recuperado, respostas de ferramentas e arquivos do ambiente isolado em busca de informações reservadas a quem revisa o teste. Faça essas verificações mesmo quando o conjunto de dados tiver um resultado de referência separado para a avaliação.
Escolha evidências adequadas à decisão
Use verificações diretas quando o resultado for observável, como um campo alterado, um cálculo, um arquivo gerado ou um teste aprovado. Use critérios de avaliação por escrito quando o julgamento exigir interpretação humana, por exemplo, para verificar se uma explicação é clara ou se uma resposta de pesquisa sustenta sua conclusão.
Um avaliador automatizado pode ajudar a revisar resultados em escala. Compare suas decisões com avaliações humanas em exemplos representativos antes de usar suas pontuações. Registre as divergências para poder melhorar os critérios ou o avaliador.
Verificar se um modelo usa o trecho
Registre as entradas da tarefa, as ferramentas, a configuração do agente e os resultados. Repita as tentativas quando a variação entre execuções for relevante para a decisão. Examine as tentativas malsucedidas e as que deram certo de forma inesperada. Uma pontuação alta pode refletir tanto um bom desempenho quanto um teste pouco exigente. O guia da Anthropic discute esses critérios para avaliadores e planejamento de tentativas.
Confira os IDs dos casos antes de calcular a pontuação
Ao construir um caso a partir de registros anteriores, mantenha o ID do caso no resultado esperado e no resultado do teste. Antes de pontuar um resultado por caso, confira os dois arquivos com a lista de IDs esperados. Cada ID esperado deve aparecer uma única vez em cada arquivo. Resolva IDs ausentes, duplicados ou inesperados. Para execuções repetidas, registre também o ID de cada tentativa.
Suponha que você espere os casos A e B. Os dois arquivos contêm A e uma linha sem ID. O resultado esperado e o resultado do teste para A discordam. As duas linhas sem ID têm o mesmo rótulo. Uma junção no pandas pode combinar as chaves ausentes mesmo quando a validação de correspondência um a um passa. A contagem das linhas combinadas dá uma concordância em dois pares. Só A corresponde a um ID esperado. No subconjunto identificado, não há concordância no único caso, e a cobertura é de um dos dois casos esperados. Sem os IDs, não se sabe se alguma das duas linhas corresponde a B. A pontuação sobre os dois casos esperados permanece indeterminada. Se você decidir pontuar um subconjunto, informe a cobertura junto com a pontuação.
Comparar pontuações de benchmarks
Interprete tentativas repetidas à luz da decisão
Suponha que uma equipe teste duas tarefas três vezes cada e restaure o estado inicial da tarefa antes de cada tentativa. As verificações retornam estes resultados fictícios:
| Tarefa | Primeira tentativa | Segunda tentativa | Terceira tentativa |
|---|---|---|---|
| A | Sucesso | Falha | Sucesso |
| B | Sucesso | Sucesso | Falha |
Quatro das seis tentativas passaram. Ambas as tarefas tiveram sucesso pelo menos uma vez, mas nenhuma nas três tentativas. Esses resumos respondem a perguntas diferentes. Um resultado correto ocasional pode ser relevante quando o sistema consegue verificar e escolher com confiança entre vários resultados possíveis. O sucesso repetido importa quando cada tentativa precisa funcionar por conta própria. O sucesso de uma tentativa não torna as demais seguras nem corretas.
Suponha agora que uma sétima tentativa pare antes da avaliação por causa de uma indisponibilidade externa confirmada no ambiente isolado. Quatro das seis tentativas avaliadas passaram. Quatro das sete tentativas no total produziram sucessos confirmados. A tentativa sem avaliação não conta como sucesso confirmado nem como falha confirmada do agente. A primeira proporção resume as tentativas avaliadas. A segunda mostra os sucessos confirmados entre todas as tentativas. Pesos diferentes por tarefa ou ajustes da métrica podem mudar o resultado informado.
Esses números descrevem apenas as verificações fictícias acima e não estabelecem uma taxa de sucesso em produção. Registre a quantidade de tarefas, as tentativas por tarefa, as verificações utilizadas e as tentativas invalidadas por problemas de infraestrutura, como uma indisponibilidade do ambiente isolado. Informe as tentativas inválidas em separado das falhas do agente e indique quais tentativas cada resumo inclui. Repetir uma tarefa ajuda a revelar variações naquela tarefa. Teste também uma variedade maior de situações. O guia da Anthropic sobre avaliação de agentes discute como medidas de sucesso pelo menos uma vez e de sucesso consistente atendem a decisões diferentes.
A cobertura das tarefas pode mudar antes da pontuação. Na nossa análise da cobertura de referências do GDPval, 185 das 220 linhas públicas de tarefas listam pelo menos um caminho para um entregável produzido por especialista. A distribuição por setor nessas linhas difere da tabela completa. Um caminho listado não demonstra que o arquivo seja acessível nem que possa ser exibido.
Use um ambiente quando as ações alterarem o estado
Se o agente edita registros, opera software ou trabalha com várias ferramentas, precisa de um lugar para executar essas ações. Um ambiente reproduzível permite restaurar o estado inicial e inspecionar o resultado depois de uma execução.
OpenEnv é um framework aberto para ambientes isolados para agentes. Escolha o framework depois de definir a tarefa, o que o agente pode ver e fazer e como o sucesso será verificado.
Para ver como os recursos declarados podem variar entre tarefas, consulte as configurações de recursos de 66 tarefas do Terminal-Bench.
Um roteiro para sua primeira avaliação
Descreva o fluxo de trabalho, uma tarefa representativa e como reconhecer um resultado bem-sucedido. Inclua as ferramentas usadas pelo agente, as informações que ele recebe e as falhas que mudariam uma decisão de lançamento. Se você já tem exemplos, descreva a origem e a cobertura deles.
Um projeto com escopo definido pode então estabelecer o conjunto de tarefas, os requisitos do ambiente, a forma de avaliar e a revisão dos resultados. Se o que falta são os próprios exemplos, comece pela obtenção de dados.