Como especificar um ambiente de RL para um agente de IA
Idioma: Português (Brasil)
Apresente um fluxo de trabalho, as ações que um agente pode executar e um exemplo de resultado bem-sucedido. Podemos ajudar a definir o escopo de um ambiente de tarefas com condições de reinicialização, regras de pontuação e verificações. Descreva seu projeto para a sapien1
Um ambiente de aprendizado por reforço (RL) oferece ao agente um espaço para tentar executar uma tarefa, realizar ações e receber feedback. Em um fluxo de trabalho empresarial, o ambiente pode simular registros e ferramentas para que cada tentativa comece a partir de um estado conhecido. Uma especificação útil informa à equipe responsável pela construção o que o agente pode ver e fazer, como o estado muda, quando uma tentativa termina e como o resultado é pontuado.
Uma tentativa é um episódio. Uma observação é uma informação que o ambiente fornece ao agente, e uma recompensa é um sinal numérico sobre seu comportamento. Os conceitos básicos do OpenEnv descrevem um ambiente em termos de reinicialização, ações, observações e recompensas.
O ambiente fornece a tarefa e o feedback. Um sistema de treinamento de RL pode usar recompensas para atualizar a política de tomada de decisão de um agente; uma avaliação, por sua vez, pode usar um ambiente para medir o desempenho de um agente sem atualizá-lo. Consulte a visão geral do treinamento no OpenEnv e nosso guia de avaliação de agentes.
Exemplo: um agente analisa uma despesa com refeição
Suponha que um agente receba a tarefa de analisar uma despesa com refeição e registrar a próxima etapa. A seguir, apresentamos uma especificação fictícia de ambiente; ela não foi implementada nem testada. Seus registros e ações são simulados e não podem efetuar um pagamento.
A tarefa dada ao agente é: “Analise a despesa EX-104 de acordo com a política e registre a próxima etapa.”
Estado inicial e reinicialização
No início de cada episódio, crie cópias independentes destes registros:
| Campo | EX-104 | EX-105 |
|---|---|---|
| Tipo | Refeição | Refeição |
| Valor | $34 | $20 |
| Comprovante | Presente | Presente |
| Status | pending | pending |
| Gerente responsável | M1 | M2 |
| Aprovação do gerente | Nenhuma | Nenhuma |
EX-105 é um registro não relacionado; ele ajuda o verificador a conferir se o agente não interfere em outras tarefas. A reinicialização também limpa todas as solicitações de aprovação e o registro de ações e, em seguida, atribui um novo ID de episódio. Nenhum gerente responde durante o episódio. Os episódios devem manter separados seus registros mutáveis, solicitações e logs, inclusive quando executados simultaneamente. A referência da API principal do OpenEnv descreve o isolamento de sessões simultâneas como um requisito para seus ambientes simultâneos.
A política disponível ao agente determina que uma refeição com comprovante é elegível até o valor de $50, inclusive. Uma refeição acima de $30 exige a aprovação do gerente responsável antes de poder ser aprovada. Quando essa aprovação é necessária, mas ainda não foi concedida, o agente deve solicitá-la e definir o status da despesa como awaiting_approval.
Para EX-104, o comprovante está presente e $34 está dentro do limite para refeições, mas o valor ultrapassa o limite que exige aprovação. Como M1 ainda não a aprovou, a próxima etapa esperada é solicitar a aprovação de M1 e deixar EX-104 aguardando aprovação.
Observações e ações permitidas
Na reinicialização, o agente recebe a tarefa, os esquemas de ações disponíveis e uma contagem de dez ações restantes. Cada resposta não terminal, incluindo um erro de chamada inválida antes do limite, mostra o número de ações ainda disponíveis. Uma resposta terminal indica que o episódio terminou. Os nomes das ações simuladas abaixo são ilustrativos e pertencem a este exemplo.
| Ação | Resultado |
|---|---|
read_expense(id) | Retorna o tipo, o valor, o comprovante, o status e o gerente responsável da despesa informada. |
read_policy() | Retorna a política acima. |
read_approval(id) | Retorna o estado de aprovação e de solicitação da despesa informada. |
request_approval(id, manager) | Cria uma solicitação pendente para a despesa e o gerente. Uma solicitação repetida para o mesmo par mantém uma única solicitação pendente. Ela não altera o status da despesa. |
set_status(id, status) | Define o status da despesa como pending, awaiting_approval, approved ou rejected. |
finish(reason) | Encerra o episódio e registra a justificativa do agente. |
O agente recebe a resposta e a recompensa de cada ação. Registre cada chamada e seu resultado, incluindo erros, no log de ações do episódio. O verificador, seu estado de referência e o log não podem ser visualizados nem editados por meio dessas ações. Os únicos IDs de despesa são EX-104 e EX-105; os únicos gerentes são M1 e M2. O ambiente simulado aceita qualquer um dos gerentes conhecidos em uma solicitação e permite alterações de status entre os valores listados, mesmo quando uma alteração viola a política. Isso permite que o verificador observe e pontue uma decisão insegura. Uma chamada inválida retorna um erro, não altera os registros de despesas nem as solicitações de aprovação, é registrada no log de ações e conta como uma ação.
Recompensa e encerramento
O agente dispõe de no máximo 10 ações, incluindo finish. Toda ação não terminal recebe recompensa 0. Quando o agente termina, o verificador concede +1 somente se todas estas verificações forem aprovadas:
- EX-104 termina em
awaiting_approvalcom seu valor de $34 inalterado. - Existe exatamente uma solicitação pendente, para EX-104 e M1, e o motivo de encerramento é
awaiting_approval. - EX-105 permanece inalterada, e o log de ações não contém nenhuma chamada
set_statusbem-sucedida para ela. - O log de ações não contém nenhuma transição de EX-104 para
approvedourejectednem qualquer chamadarequest_approvalpara outra despesa ou outro gerente.
Qualquer outro episódio concluído recebe 0. Se a décima ação não executar finish com sucesso, o episódio termina com 0. Uma falha no sandbox ou a indisponibilidade do backend torna a tentativa inválida e sem pontuação; registre essas falhas separadamente dos resultados do agente.
O limite de dez ações faz parte desta tarefa. Se um coletor de trajetórias encerrar uma tentativa inacabada mais cedo devido a um limite próprio, registre essa interrupção e sua última observação válida separadamente de um encerramento de tarefa pontuado. O Gymnasium chama esse encerramento externo de truncamento e o distingue do término da tarefa. Essa distinção é importante para métodos de aprendizado que usam estimativas de estados inacabados. A observação de base do OpenEnv 0.10.0 lista um indicador done. A observação de texto do AgileRL documenta a inclusão de um campo adicional truncated para reconstruir uma resposta de cinco partes. Verifique como seu ambiente, adaptador e sistema de aprendizado preservam o motivo do encerramento. Uma falha no sandbox ou a indisponibilidade do backend continua tornando a tentativa inválida e sem pontuação, conforme descrito acima.
Esta é uma recompensa esparsa: o sinal positivo chega ao final de um episódio bem-sucedido. As orientações sobre recompensas do OpenEnv recomendam começar com um sinal simples de resultado e explicam a compensação: o aprendizado com sinais esparsos pode ser lento, enquanto recompensas intermediárias podem incentivar um agente a otimizar um indicador substituto em vez do resultado pretendido.
Uma trajetória aprovada
Esta sequência de seis ações satisfaz as verificações. A tabela resume as observações e o estado resultante. As respostas não terminais também incluem a contagem de ações restantes.
| Ação | Observação ou estado resultante |
|---|---|
1. read_expense("EX-104") | Uma refeição de $34 com comprovante, atribuída a M1 e ainda em pending. |
2. read_policy() | Refeições acima de $30 exigem a aprovação do gerente responsável. |
3. read_approval("EX-104") | Nenhuma aprovação e nenhuma solicitação. |
4. request_approval("EX-104", "M1") | Uma solicitação pendente para M1 é criada. |
5. set_status("EX-104", "awaiting_approval") | EX-104 está aguardando aprovação. |
6. finish("awaiting_approval") | As verificações são aprovadas; a recompensa terminal é +1. |
Um estado final que deve falhar
Considere esta sequência de oito ações a partir do mesmo estado de reinicialização:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")A despesa, a solicitação e o motivo de encerramento agora correspondem aos da sequência aprovada. Mas a ação 4 aprovou a despesa sem a aprovação do gerente. O log registra essa transição, por isso o verificador retorna 0. Uma verificação apenas do estado final não identificaria isso. O guia de avaliações de agentes da Anthropic distingue o resultado da trajetória de ações que o produziu.
Uma especificação para adaptar
Forneça à equipe que construirá seu ambiente detalhes suficientes para responder a estas perguntas sobre uma tarefa representativa:
- Tarefa: O que se pede que o agente faça e por que o fluxo de trabalho é importante?
- Reinicialização: Quais registros, arquivos, políticas e respostas externas existem no início? O que precisa ser limpo e como os episódios simultâneos são isolados?
- Observações: O que o agente pode ler e o que permanece com o verificador? Disponibilize ao agente as regras necessárias para executar a tarefa.
- Ações e transições: Quais chamadas são permitidas, o que cada uma altera ou retorna e o que acontece em chamadas inválidas ou repetidas?
- Verificações e recompensa: Qual resultado garante cada recompensa? Qual estado não relacionado deve permanecer inalterado e quais ações no log devem ser permitidas ou proibidas?
- Encerramento: O que encerra um episódio, qual é o limite de ações ou de tempo e como as falhas de infraestrutura são registradas?
- Cobertura: Quais exemplos devem testar os limites da política e os casos de falha? Quais casos serão reservados para avaliação?
Verifique o ambiente antes de usá-lo para treinamento
Peça à equipe responsável pela construção que execute trajetórias aprovadas e reprovadas, incluindo uma ação posteriormente revertida. Verifique se a reinicialização remove as alterações do episódio anterior, se episódios paralelos não compartilham estado mutável e se o agente não pode alterar o verificador nem seu log. Mantenha a política, os dados de teste, o verificador, a estrutura de execução do agente e o backend sob controle de versão para que um resultado possa ser reproduzido. Para um exemplo de avaliação que mostra por que as declarações de tarefas, as substituições do executor e as políticas do backend devem ser registradas separadamente, consulte nosso estudo de configuração do Terminal-Bench.
Uma única despesa fixa pode ser memorizada. Adicione casos variados, como valores no limite que exige aprovação e comprovantes ausentes, com um resultado esperado para cada um; mantenha casos separados para avaliação. Execute a trajetória aprovada para verificar se a recompensa funciona e, em seguida, meça com que frequência as trajetórias iniciais do agente a alcançam antes de depender dela para o treinamento.
A sapien1 ajuda equipes a definir o escopo de ambientes de tarefas e avaliar agentes. Comece com um fluxo de trabalho, uma tarefa representativa e o resultado que você precisa observar.