Lewati ke konten utama

Menu

Cara menetapkan spesifikasi lingkungan RL untuk agen AI

Bahasa: Bahasa Indonesia

Siapkan satu alur kerja, tindakan yang boleh dilakukan agen, dan contoh hasil yang berhasil. Kami dapat membantu menentukan cakupan lingkungan tugas beserta kondisi pengaturan ulang, aturan penilaian, dan pemeriksaan. Jelaskan proyekmu kepada sapien1

Lingkungan reinforcement learning (RL) memberi agen tempat untuk mencoba menyelesaikan tugas, mengambil tindakan, dan menerima umpan balik. Untuk alur kerja bisnis, lingkungan dapat menyimulasikan catatan dan alat agar setiap percobaan dimulai dari status yang diketahui. Spesifikasi yang berguna memberi tahu pembuat apa yang dapat dilihat dan dilakukan agen, bagaimana status berubah, kapan percobaan berakhir, dan bagaimana hasilnya dinilai.

Satu percobaan disebut episode. Observasi adalah informasi yang diberikan lingkungan kepada agen, dan reward adalah sinyal numerik tentang perilakunya. Konsep inti OpenEnv menjelaskan lingkungan berdasarkan reset, tindakan, observasi, dan reward.

Lingkungan menyediakan tugas dan umpan balik. Pelatih RL dapat menggunakan reward untuk memperbarui kebijakan pengambilan keputusan agen; evaluasi juga dapat menggunakan lingkungan untuk mengukur agen tanpa memperbaruinya. Lihat gambaran umum pelatihan OpenEnv dan panduan evaluasi agen kami.

Contoh: agen meninjau pengeluaran makan

Misalkan agen diminta meninjau pengeluaran makan dan mencatat langkah selanjutnya. Berikut adalah spesifikasi lingkungan fiktif; lingkungan ini belum dibuat atau diuji. Catatan dan tindakannya disimulasikan dan tidak dapat melakukan pembayaran.

Tugas yang diberikan kepada agen adalah: “Tinjau pengeluaran EX-104 berdasarkan kebijakan dan catat langkah selanjutnya.”

Status awal dan reset

Pada awal setiap episode, buat salinan independen dari catatan berikut:

KolomEX-104EX-105
JenisMakanMakan
Jumlah$34$20
KuitansiAdaAda
Statuspendingpending
Manajer yang ditugaskanM1M2
Persetujuan manajerTidak adaTidak ada

EX-105 adalah catatan yang tidak terkait; catatan ini membantu verifikator memeriksa apakah agen tidak mengubah pekerjaan lain. Reset juga menghapus semua permintaan persetujuan dan log tindakan, lalu menetapkan ID episode baru. Tidak ada manajer yang merespons selama episode berlangsung. Setiap episode harus menyimpan catatan yang dapat diubah, permintaan, dan lognya secara terpisah, termasuk saat berjalan bersamaan. Referensi API inti OpenEnv menjelaskan bahwa isolasi sesi yang berjalan bersamaan merupakan persyaratan untuk lingkungan yang mendukung penggunaan bersamaan.

Kebijakan yang tersedia bagi agen menyatakan bahwa pengeluaran makan dengan kuitansi memenuhi syarat hingga dan termasuk $50. Pengeluaran makan di atas $30 memerlukan persetujuan manajer yang ditugaskan sebelum dapat disetujui. Jika persetujuan tersebut diperlukan tetapi belum ada, agen harus memintanya dan menetapkan status pengeluaran ke awaiting_approval.

Untuk EX-104, kuitansi tersedia dan $34 masih dalam batas pengeluaran makan, tetapi jumlahnya melebihi ambang persetujuan. Karena M1 belum menyetujuinya, langkah selanjutnya yang diharapkan adalah meminta persetujuan M1 dan membiarkan EX-104 menunggu persetujuan.

Observasi dan tindakan yang diizinkan

Saat reset, agen menerima tugas, skema tindakan yang tersedia, dan jumlah tindakan tersisa sebanyak sepuluh. Setiap respons nonterminal, termasuk kesalahan pemanggilan tidak valid sebelum batas tercapai, menunjukkan jumlah tindakan yang masih tersedia. Respons terminal menandai bahwa episode telah berakhir. Nama tindakan simulasi di bawah ini bersifat ilustratif dan berlaku untuk contoh ini.

TindakanHasil
read_expense(id)Mengembalikan jenis, jumlah, kuitansi, status, dan manajer yang ditugaskan untuk pengeluaran yang disebutkan.
read_policy()Mengembalikan kebijakan di atas.
read_approval(id)Mengembalikan status persetujuan dan permintaan untuk pengeluaran yang disebutkan.
request_approval(id, manager)Membuat permintaan yang tertunda untuk pengeluaran dan manajer tersebut. Permintaan berulang untuk pasangan yang sama tetap menghasilkan satu permintaan tertunda. Tindakan ini tidak mengubah status pengeluaran.
set_status(id, status)Menetapkan status pengeluaran ke pending, awaiting_approval, approved, atau rejected.
finish(reason)Mengakhiri episode dan mencatat alasan agen.

Agen menerima respons dan reward untuk setiap tindakan. Catat setiap pemanggilan dan hasilnya, termasuk kesalahan, dalam log tindakan episode. Verifikator, baseline-nya, dan log tidak dapat dilihat atau diedit melalui tindakan ini. Satu-satunya ID pengeluaran adalah EX-104 dan EX-105; satu-satunya manajer adalah M1 dan M2. Sistem tiruan menerima salah satu dari kedua manajer yang dikenal untuk sebuah permintaan dan mengizinkan perubahan status di antara nilai yang tercantum, sekalipun perubahan tersebut melanggar kebijakan. Dengan begitu, verifikator dapat mengamati dan menilai keputusan yang tidak aman. Pemanggilan tidak valid menghasilkan kesalahan, tidak mengubah catatan pengeluaran maupun permintaan persetujuan, dicatat dalam log tindakan, dan dihitung sebagai satu tindakan.

Reward dan pengakhiran

Agen memiliki paling banyak 10 tindakan, termasuk finish. Setiap tindakan nonterminal menerima reward 0. Saat agen selesai, verifikator memberikan +1 hanya jika semua pemeriksaan berikut terpenuhi:

  1. EX-104 berakhir dengan status awaiting_approval dan jumlahnya tetap $34.
  2. Tepat ada satu permintaan tertunda, yaitu untuk EX-104 dan M1, serta alasan penyelesaian adalah awaiting_approval.
  3. EX-105 tidak berubah, dan log tindakan tidak berisi pemanggilan set_status yang berhasil untuk pengeluaran tersebut.
  4. Log tindakan tidak berisi perubahan status EX-104 menjadi approved atau rejected, dan tidak ada pemanggilan request_approval untuk pengeluaran atau manajer lain.

Setiap episode selesai lainnya menerima 0. Jika tindakan kesepuluh tidak berhasil menjalankan finish, episode berakhir dengan 0. Kegagalan sandbox atau backend yang tidak tersedia membuat percobaan tidak valid dan tidak dinilai; catat kegagalan tersebut secara terpisah dari hasil agen.

Batas sepuluh tindakan adalah bagian dari tugas ini. Jika pengumpul rollout mengakhiri percobaan yang belum selesai lebih awal karena batasnya sendiri, catat pemutusan tersebut dan observasi valid terakhirnya secara terpisah dari akhir tugas yang dinilai. Gymnasium menyebut pengakhiran eksternal ini sebagai truncation dan membedakannya dari pengakhiran tugas. Perbedaan ini penting bagi metode pembelajaran yang menggunakan bootstrap dari status yang belum selesai. Observasi dasar OpenEnv 0.10.0 mencantumkan penanda done. Observasi teks AgileRL mendokumentasikan penggunaan kolom tambahan truncated untuk merekonstruksi respons lima bagian. Periksa bagaimana lingkungan, adaptor, dan learner yang kamu gunakan mempertahankan alasan pengakhiran. Kegagalan sandbox atau backend yang tidak tersedia tetap tidak valid dan tidak dinilai seperti dijelaskan di atas.

Ini adalah reward yang jarang: sinyal positif muncul di akhir episode yang berhasil. Panduan reward OpenEnv menyarankan untuk memulai dengan sinyal hasil yang sederhana dan menjelaskan trade-off-nya: sinyal yang jarang dapat memperlambat pembelajaran, sedangkan reward perantara dapat mendorong agen mengoptimalkan indikator pengganti alih-alih hasil yang diharapkan.

Jejak yang lolos

Urutan enam tindakan ini memenuhi pemeriksaan. Tabel merangkum observasi dan status yang dihasilkan. Respons nonterminal juga mencantumkan jumlah tindakan yang tersisa.

TindakanObservasi atau status yang dihasilkan
1. read_expense("EX-104")Pengeluaran makan sebesar $34 dengan kuitansi, ditugaskan kepada M1 dan masih berstatus pending.
2. read_policy()Pengeluaran makan di atas $30 memerlukan persetujuan manajer yang ditugaskan.
3. read_approval("EX-104")Belum ada persetujuan maupun permintaan.
4. request_approval("EX-104", "M1")Permintaan tertunda untuk M1 dibuat.
5. set_status("EX-104", "awaiting_approval")EX-104 menunggu persetujuan.
6. finish("awaiting_approval")Pemeriksaan lolos; reward terminal adalah +1.

Status akhir yang seharusnya gagal

Perhatikan urutan delapan tindakan ini dari status reset yang sama:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Pengeluaran, permintaan, dan alasan penyelesaian kini cocok dengan urutan yang lolos. Namun, tindakan ke-4 menyetujui pengeluaran tanpa persetujuan manajer. Log mencatat perubahan status tersebut, sehingga verifikator mengembalikan 0. Pemeriksaan status akhir saja tidak akan menemukannya. Panduan evaluasi agen dari Anthropic membedakan hasil dari jejak tindakan yang menghasilkannya.

Spesifikasi untuk disesuaikan

Berikan detail yang cukup kepada pembuat lingkungan agar dapat menjawab pertanyaan berikut untuk satu tugas yang mewakili kebutuhan:

  • Tugas: Apa yang diminta untuk dilakukan agen, dan mengapa alur kerja tersebut penting?
  • Reset: Catatan, file, kebijakan, dan respons eksternal apa yang tersedia di awal? Apa yang harus dihapus, dan bagaimana episode yang berjalan bersamaan diisolasi?
  • Observasi: Apa yang dapat dibaca agen, dan apa yang tetap berada pada verifikator? Sediakan aturan yang diperlukan untuk menjalankan tugas kepada agen.
  • Tindakan dan perubahan status: Pemanggilan mana yang diizinkan, apa yang diubah atau dikembalikan oleh masing-masing pemanggilan, dan apa yang terjadi pada pemanggilan yang tidak valid atau berulang?
  • Pemeriksaan dan reward: Hasil apa yang menghasilkan masing-masing reward? Status mana yang tidak terkait dan harus tetap tidak berubah, serta tindakan mana dalam log yang harus diizinkan atau dilarang?
  • Pengakhiran: Apa yang mengakhiri episode, berapa batas tindakan atau waktunya, dan bagaimana kegagalan infrastruktur dicatat?
  • Cakupan: Contoh mana yang harus menguji batas kebijakan dan kasus kegagalan? Kasus mana yang akan disisihkan untuk evaluasi?

Periksa lingkungan sebelum menggunakannya untuk pelatihan

Minta pembuat untuk menguji jejak yang lolos dan gagal, termasuk tindakan yang kemudian dibatalkan. Periksa apakah reset menghapus perubahan dari episode sebelumnya, episode paralel tidak berbagi status yang dapat diubah, dan agen tidak dapat mengubah verifikator atau lognya. Kelola versi kebijakan, fixture, verifikator, harness agen, dan backend agar hasil dapat direproduksi. Untuk contoh evaluasi tentang mengapa deklarasi tugas, pengaturan pengganti pada runner, dan kebijakan backend harus dicatat secara terpisah, lihat studi konfigurasi Terminal-Bench kami.

Satu pengeluaran tetap dapat dihafal. Tambahkan kasus yang beragam, seperti jumlah tepat pada ambang persetujuan dan kuitansi yang tidak tersedia, dengan hasil yang diharapkan untuk setiap kasus; siapkan kasus terpisah untuk evaluasi. Jalankan jejak yang lolos untuk memastikan reward berfungsi, lalu ukur seberapa sering rollout awal agen mencapainya sebelum mengandalkannya untuk pelatihan.

sapien1 membantu tim menentukan cakupan lingkungan tugas dan mengevaluasi agen. Mulailah dengan alur kerja, tugas yang mewakili kebutuhan, dan hasil yang perlu kamu amati.