Pular para o conteúdo principal

Menu

Como especificar um ambiente de RL para um agente de IA

Idioma: Português (Brasil)

Apresente um fluxo de trabalho, as ações que um agente pode executar e um exemplo de resultado bem-sucedido. Podemos ajudar a definir o escopo de um ambiente de tarefas com condições de reinicialização, regras de pontuação e verificações. Descreva seu projeto para a sapien1

Um ambiente de aprendizado por reforço (RL) oferece ao agente um espaço para tentar executar uma tarefa, realizar ações e receber feedback. Em um fluxo de trabalho empresarial, o ambiente pode simular registros e ferramentas para que cada tentativa comece a partir de um estado conhecido. Uma especificação útil informa à equipe responsável pela construção o que o agente pode ver e fazer, como o estado muda, quando uma tentativa termina e como o resultado é pontuado.

Uma tentativa é um episódio. Uma observação é uma informação que o ambiente fornece ao agente, e uma recompensa é um sinal numérico sobre seu comportamento. Os conceitos básicos do OpenEnv descrevem um ambiente em termos de reinicialização, ações, observações e recompensas.

O ambiente fornece a tarefa e o feedback. Um sistema de treinamento de RL pode usar recompensas para atualizar a política de tomada de decisão de um agente; uma avaliação, por sua vez, pode usar um ambiente para medir o desempenho de um agente sem atualizá-lo. Consulte a visão geral do treinamento no OpenEnv e nosso guia de avaliação de agentes.

Exemplo: um agente analisa uma despesa com refeição

Suponha que um agente receba a tarefa de analisar uma despesa com refeição e registrar a próxima etapa. A seguir, apresentamos uma especificação fictícia de ambiente; ela não foi implementada nem testada. Seus registros e ações são simulados e não podem efetuar um pagamento.

A tarefa dada ao agente é: “Analise a despesa EX-104 de acordo com a política e registre a próxima etapa.”

Estado inicial e reinicialização

No início de cada episódio, crie cópias independentes destes registros:

CampoEX-104EX-105
TipoRefeiçãoRefeição
Valor$34$20
ComprovantePresentePresente
Statuspendingpending
Gerente responsávelM1M2
Aprovação do gerenteNenhumaNenhuma

EX-105 é um registro não relacionado; ele ajuda o verificador a conferir se o agente não interfere em outras tarefas. A reinicialização também limpa todas as solicitações de aprovação e o registro de ações e, em seguida, atribui um novo ID de episódio. Nenhum gerente responde durante o episódio. Os episódios devem manter separados seus registros mutáveis, solicitações e logs, inclusive quando executados simultaneamente. A referência da API principal do OpenEnv descreve o isolamento de sessões simultâneas como um requisito para seus ambientes simultâneos.

A política disponível ao agente determina que uma refeição com comprovante é elegível até o valor de $50, inclusive. Uma refeição acima de $30 exige a aprovação do gerente responsável antes de poder ser aprovada. Quando essa aprovação é necessária, mas ainda não foi concedida, o agente deve solicitá-la e definir o status da despesa como awaiting_approval.

Para EX-104, o comprovante está presente e $34 está dentro do limite para refeições, mas o valor ultrapassa o limite que exige aprovação. Como M1 ainda não a aprovou, a próxima etapa esperada é solicitar a aprovação de M1 e deixar EX-104 aguardando aprovação.

Observações e ações permitidas

Na reinicialização, o agente recebe a tarefa, os esquemas de ações disponíveis e uma contagem de dez ações restantes. Cada resposta não terminal, incluindo um erro de chamada inválida antes do limite, mostra o número de ações ainda disponíveis. Uma resposta terminal indica que o episódio terminou. Os nomes das ações simuladas abaixo são ilustrativos e pertencem a este exemplo.

AçãoResultado
read_expense(id)Retorna o tipo, o valor, o comprovante, o status e o gerente responsável da despesa informada.
read_policy()Retorna a política acima.
read_approval(id)Retorna o estado de aprovação e de solicitação da despesa informada.
request_approval(id, manager)Cria uma solicitação pendente para a despesa e o gerente. Uma solicitação repetida para o mesmo par mantém uma única solicitação pendente. Ela não altera o status da despesa.
set_status(id, status)Define o status da despesa como pending, awaiting_approval, approved ou rejected.
finish(reason)Encerra o episódio e registra a justificativa do agente.

O agente recebe a resposta e a recompensa de cada ação. Registre cada chamada e seu resultado, incluindo erros, no log de ações do episódio. O verificador, seu estado de referência e o log não podem ser visualizados nem editados por meio dessas ações. Os únicos IDs de despesa são EX-104 e EX-105; os únicos gerentes são M1 e M2. O ambiente simulado aceita qualquer um dos gerentes conhecidos em uma solicitação e permite alterações de status entre os valores listados, mesmo quando uma alteração viola a política. Isso permite que o verificador observe e pontue uma decisão insegura. Uma chamada inválida retorna um erro, não altera os registros de despesas nem as solicitações de aprovação, é registrada no log de ações e conta como uma ação.

Recompensa e encerramento

O agente dispõe de no máximo 10 ações, incluindo finish. Toda ação não terminal recebe recompensa 0. Quando o agente termina, o verificador concede +1 somente se todas estas verificações forem aprovadas:

  1. EX-104 termina em awaiting_approval com seu valor de $34 inalterado.
  2. Existe exatamente uma solicitação pendente, para EX-104 e M1, e o motivo de encerramento é awaiting_approval.
  3. EX-105 permanece inalterada, e o log de ações não contém nenhuma chamada set_status bem-sucedida para ela.
  4. O log de ações não contém nenhuma transição de EX-104 para approved ou rejected nem qualquer chamada request_approval para outra despesa ou outro gerente.

Qualquer outro episódio concluído recebe 0. Se a décima ação não executar finish com sucesso, o episódio termina com 0. Uma falha no sandbox ou a indisponibilidade do backend torna a tentativa inválida e sem pontuação; registre essas falhas separadamente dos resultados do agente.

O limite de dez ações faz parte desta tarefa. Se um coletor de trajetórias encerrar uma tentativa inacabada mais cedo devido a um limite próprio, registre essa interrupção e sua última observação válida separadamente de um encerramento de tarefa pontuado. O Gymnasium chama esse encerramento externo de truncamento e o distingue do término da tarefa. Essa distinção é importante para métodos de aprendizado que usam estimativas de estados inacabados. A observação de base do OpenEnv 0.10.0 lista um indicador done. A observação de texto do AgileRL documenta a inclusão de um campo adicional truncated para reconstruir uma resposta de cinco partes. Verifique como seu ambiente, adaptador e sistema de aprendizado preservam o motivo do encerramento. Uma falha no sandbox ou a indisponibilidade do backend continua tornando a tentativa inválida e sem pontuação, conforme descrito acima.

Esta é uma recompensa esparsa: o sinal positivo chega ao final de um episódio bem-sucedido. As orientações sobre recompensas do OpenEnv recomendam começar com um sinal simples de resultado e explicam a compensação: o aprendizado com sinais esparsos pode ser lento, enquanto recompensas intermediárias podem incentivar um agente a otimizar um indicador substituto em vez do resultado pretendido.

Uma trajetória aprovada

Esta sequência de seis ações satisfaz as verificações. A tabela resume as observações e o estado resultante. As respostas não terminais também incluem a contagem de ações restantes.

AçãoObservação ou estado resultante
1. read_expense("EX-104")Uma refeição de $34 com comprovante, atribuída a M1 e ainda em pending.
2. read_policy()Refeições acima de $30 exigem a aprovação do gerente responsável.
3. read_approval("EX-104")Nenhuma aprovação e nenhuma solicitação.
4. request_approval("EX-104", "M1")Uma solicitação pendente para M1 é criada.
5. set_status("EX-104", "awaiting_approval")EX-104 está aguardando aprovação.
6. finish("awaiting_approval")As verificações são aprovadas; a recompensa terminal é +1.

Um estado final que deve falhar

Considere esta sequência de oito ações a partir do mesmo estado de reinicialização:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

A despesa, a solicitação e o motivo de encerramento agora correspondem aos da sequência aprovada. Mas a ação 4 aprovou a despesa sem a aprovação do gerente. O log registra essa transição, por isso o verificador retorna 0. Uma verificação apenas do estado final não identificaria isso. O guia de avaliações de agentes da Anthropic distingue o resultado da trajetória de ações que o produziu.

Uma especificação para adaptar

Forneça à equipe que construirá seu ambiente detalhes suficientes para responder a estas perguntas sobre uma tarefa representativa:

  • Tarefa: O que se pede que o agente faça e por que o fluxo de trabalho é importante?
  • Reinicialização: Quais registros, arquivos, políticas e respostas externas existem no início? O que precisa ser limpo e como os episódios simultâneos são isolados?
  • Observações: O que o agente pode ler e o que permanece com o verificador? Disponibilize ao agente as regras necessárias para executar a tarefa.
  • Ações e transições: Quais chamadas são permitidas, o que cada uma altera ou retorna e o que acontece em chamadas inválidas ou repetidas?
  • Verificações e recompensa: Qual resultado garante cada recompensa? Qual estado não relacionado deve permanecer inalterado e quais ações no log devem ser permitidas ou proibidas?
  • Encerramento: O que encerra um episódio, qual é o limite de ações ou de tempo e como as falhas de infraestrutura são registradas?
  • Cobertura: Quais exemplos devem testar os limites da política e os casos de falha? Quais casos serão reservados para avaliação?

Verifique o ambiente antes de usá-lo para treinamento

Peça à equipe responsável pela construção que execute trajetórias aprovadas e reprovadas, incluindo uma ação posteriormente revertida. Verifique se a reinicialização remove as alterações do episódio anterior, se episódios paralelos não compartilham estado mutável e se o agente não pode alterar o verificador nem seu log. Mantenha a política, os dados de teste, o verificador, a estrutura de execução do agente e o backend sob controle de versão para que um resultado possa ser reproduzido. Para um exemplo de avaliação que mostra por que as declarações de tarefas, as substituições do executor e as políticas do backend devem ser registradas separadamente, consulte nosso estudo de configuração do Terminal-Bench.

Uma única despesa fixa pode ser memorizada. Adicione casos variados, como valores no limite que exige aprovação e comprovantes ausentes, com um resultado esperado para cada um; mantenha casos separados para avaliação. Execute a trajetória aprovada para verificar se a recompensa funciona e, em seguida, meça com que frequência as trajetórias iniciais do agente a alcançam antes de depender dela para o treinamento.

A sapien1 ajuda equipes a definir o escopo de ambientes de tarefas e avaliar agentes. Comece com um fluxo de trabalho, uma tarefa representativa e o resultado que você precisa observar.