Cara menentukan spesifikasi persekitaran RL untuk ejen AI
Bahasa: Bahasa Melayu
Bawa satu aliran kerja, tindakan yang boleh diambil oleh ejen dan contoh hasil yang berjaya. Kami boleh membantu menetapkan skop persekitaran tugas dengan syarat set semula, peraturan pemarkahan dan semakan. Terangkan projek anda kepada sapien1
Persekitaran pembelajaran pengukuhan (RL) memberi ejen tempat untuk mencuba sesuatu tugas, mengambil tindakan dan menerima maklum balas. Bagi aliran kerja perniagaan, persekitaran boleh mensimulasikan rekod dan alat supaya setiap percubaan bermula daripada keadaan yang diketahui. Spesifikasi yang berguna menerangkan kepada pembangun perkara yang boleh dilihat dan dilakukan oleh ejen, cara keadaan berubah, bila percubaan berakhir dan cara hasilnya diberi skor.
Satu percubaan ialah satu episod. Pemerhatian ialah maklumat yang diberikan oleh persekitaran kepada ejen, manakala ganjaran ialah isyarat berangka tentang tingkah lakunya. Konsep teras OpenEnv menerangkan persekitaran berdasarkan set semula, tindakan, pemerhatian dan ganjaran.
Persekitaran menyediakan tugas dan maklum balas. Pelatih RL boleh menggunakan ganjaran untuk mengemas kini dasar pembuatan keputusan ejen; penilaian pula boleh menggunakan persekitaran untuk mengukur prestasi ejen tanpa mengemas kininya. Lihat gambaran keseluruhan latihan OpenEnv dan panduan penilaian ejen kami.
Contoh: ejen menyemak perbelanjaan makan
Katakan ejen diminta menyemak perbelanjaan makan dan merekodkan langkah seterusnya. Berikut ialah spesifikasi persekitaran fiksyen; ia belum dibina atau diuji. Rekod dan tindakannya disimulasikan dan tidak boleh membuat pembayaran.
Tugas yang diberikan kepada ejen ialah: “Semak perbelanjaan EX-104 mengikut dasar dan rekodkan langkah seterusnya.”
Keadaan awal dan set semula
Pada permulaan setiap episod, cipta salinan bebas bagi rekod berikut:
| Medan | EX-104 | EX-105 |
|---|---|---|
| Jenis | Makan | Makan |
| Jumlah | $34 | $20 |
| Resit | Ada | Ada |
| Status | pending | pending |
| Pengurus yang ditugaskan | M1 | M2 |
| Kelulusan pengurus | Tiada | Tiada |
EX-105 ialah rekod yang tidak berkaitan; ia membantu pengesah menyemak bahawa ejen tidak mengubah kerja lain. Set semula juga mengosongkan semua permintaan kelulusan dan log tindakan, kemudian menetapkan ID episod baharu. Tiada pengurus yang memberikan respons sepanjang episod. Setiap episod mesti mengasingkan rekod yang boleh diubah, permintaan dan lognya, termasuk apabila episod berjalan serentak. Rujukan API teras OpenEnv menyatakan bahawa pengasingan sesi serentak ialah keperluan bagi persekitaran serentaknya.
Dasar yang tersedia kepada ejen menyatakan bahawa perbelanjaan makan yang mempunyai resit layak sehingga dan termasuk $50. Perbelanjaan makan melebihi $30 memerlukan kelulusan pengurus yang ditugaskan sebelum boleh diluluskan. Apabila kelulusan itu diperlukan tetapi belum ada, ejen perlu memintanya dan menetapkan perbelanjaan kepada awaiting_approval.
Bagi EX-104, resit ada dan $34 berada dalam had perbelanjaan makan, tetapi jumlah itu melebihi ambang kelulusan. Oleh sebab M1 belum meluluskannya, langkah seterusnya yang dijangka ialah meminta kelulusan M1 dan membiarkan EX-104 dalam keadaan menunggu kelulusan.
Pemerhatian dan tindakan yang dibenarkan
Semasa set semula, ejen menerima tugas, skema tindakan yang tersedia dan kiraan sepuluh tindakan yang masih ada. Setiap respons bukan terminal, termasuk ralat panggilan tidak sah sebelum had dicapai, menunjukkan bilangan tindakan yang masih tersedia. Respons terminal menandakan episod telah berakhir. Nama tindakan simulasi di bawah adalah sebagai contoh dan khusus untuk contoh ini.
| Tindakan | Hasil |
|---|---|
read_expense(id) | Mengembalikan jenis, jumlah, resit, status dan pengurus yang ditugaskan bagi perbelanjaan yang dinamakan. |
read_policy() | Mengembalikan dasar di atas. |
read_approval(id) | Mengembalikan keadaan kelulusan dan permintaan bagi perbelanjaan yang dinamakan. |
request_approval(id, manager) | Mencipta permintaan yang belum selesai untuk perbelanjaan dan pengurus tersebut. Permintaan berulang untuk pasangan yang sama mengekalkan satu permintaan yang belum selesai. Tindakan ini tidak mengubah status perbelanjaan. |
set_status(id, status) | Menetapkan perbelanjaan kepada pending, awaiting_approval, approved atau rejected. |
finish(reason) | Menamatkan episod dan merekodkan alasan ejen. |
Ejen menerima respons dan ganjaran bagi setiap tindakan. Rekodkan setiap panggilan dan hasilnya, termasuk ralat, dalam log tindakan episod. Pengesah, garis asasnya dan log tersebut tidak boleh dilihat atau diedit melalui tindakan ini. Satu-satunya ID perbelanjaan ialah EX-104 dan EX-105; satu-satunya pengurus ialah M1 dan M2. Sistem olok menerima mana-mana pengurus yang diketahui untuk permintaan dan membenarkan perubahan status antara nilai yang disenaraikan, walaupun perubahan itu melanggar dasar. Ini membolehkan pengesah memerhati dan memberi skor kepada keputusan yang tidak selamat. Panggilan tidak sah mengembalikan ralat, tidak mengubah rekod perbelanjaan atau permintaan kelulusan, direkodkan dalam log tindakan dan dikira sebagai satu tindakan.
Ganjaran dan penamatan
Ejen mempunyai maksimum 10 tindakan, termasuk finish. Setiap tindakan bukan terminal menerima ganjaran 0. Apabila ejen selesai, pengesah memberikan +1 hanya jika semua semakan ini lulus:
- EX-104 berakhir dalam keadaan
awaiting_approvaldengan jumlah $34 tidak berubah. - Tepat satu permintaan yang belum selesai wujud, untuk EX-104 dan M1, dan alasan penamatan ialah
awaiting_approval. - EX-105 tidak berubah, dan log tindakan tidak mengandungi panggilan
set_statusyang berjaya untuknya. - Log tindakan tidak mengandungi perubahan EX-104 kepada
approvedataurejected, dan tiada panggilanrequest_approvaluntuk perbelanjaan atau pengurus lain.
Mana-mana episod lain yang selesai menerima 0. Jika tindakan kesepuluh tidak berjaya melaksanakan finish, episod berakhir dengan 0. Ranapnya kotak pasir atau bahagian belakang yang tidak tersedia menyebabkan percubaan tidak sah dan tidak diberi skor; rekodkan kegagalan tersebut secara berasingan daripada hasil ejen.
Had sepuluh tindakan ialah sebahagian daripada tugas ini. Jika pengumpul rollout menamatkan percubaan yang belum selesai lebih awal kerana hadnya sendiri, rekodkan pemotongan itu dan pemerhatian sah terakhirnya secara berasingan daripada penamatan tugas yang diberi skor. Gymnasium memanggil penamatan luaran ini pemotongan dan membezakannya daripada penamatan tugas. Perbezaan itu penting bagi kaedah pembelajaran yang melakukan bootstrap daripada keadaan yang belum selesai. Pemerhatian asas OpenEnv 0.10.0 menyenaraikan bendera done. Pemerhatian teks AgileRL mendokumentasikan penggunaan medan truncated tambahan untuk membina semula respons lima bahagian. Semak cara persekitaran, penyesuai dan sistem pembelajaran anda mengekalkan sebab penamatan. Ranapnya kotak pasir atau bahagian belakang yang tidak tersedia kekal tidak sah dan tidak diberi skor seperti yang diterangkan di atas.
Ini ialah ganjaran jarang: isyarat positif tiba pada penghujung episod yang berjaya. Panduan ganjaran OpenEnv mengesyorkan agar bermula dengan isyarat hasil yang mudah dan menerangkan pertimbangannya: isyarat jarang boleh mengambil masa lama untuk dipelajari, manakala ganjaran perantaraan boleh menggalakkan ejen mengoptimumkan proksi dan bukannya hasil yang dikehendaki.
Jejak yang lulus
Urutan enam tindakan ini memenuhi semakan. Jadual merumuskan pemerhatian dan keadaan yang terhasil. Respons bukan terminal juga menyertakan kiraan tindakan yang masih ada.
| Tindakan | Pemerhatian atau keadaan yang terhasil |
|---|---|
1. read_expense("EX-104") | Perbelanjaan makan $34 dengan resit, ditugaskan kepada M1 dan masih pending. |
2. read_policy() | Perbelanjaan makan melebihi $30 memerlukan kelulusan pengurus yang ditugaskan. |
3. read_approval("EX-104") | Tiada kelulusan dan tiada permintaan. |
4. request_approval("EX-104", "M1") | Permintaan yang belum selesai untuk M1 dicipta. |
5. set_status("EX-104", "awaiting_approval") | EX-104 sedang menunggu kelulusan. |
6. finish("awaiting_approval") | Semakan lulus; ganjaran terminal ialah +1. |
Keadaan akhir yang sepatutnya gagal
Pertimbangkan urutan lapan tindakan ini daripada keadaan set semula yang sama:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Perbelanjaan, permintaan dan alasan penamatan kini sepadan dengan urutan yang lulus. Namun, tindakan 4 meluluskan perbelanjaan tanpa kelulusan pengurus. Log merekodkan perubahan itu, maka pengesah mengembalikan 0. Semakan keadaan akhir sahaja tidak akan mengesannya. Panduan penilaian ejen Anthropic membezakan hasil daripada jejak tindakan yang menghasilkannya.
Spesifikasi untuk disesuaikan
Berikan pembangun persekitaran anda butiran yang mencukupi untuk menjawab soalan berikut bagi satu tugas yang mewakili aliran kerja:
- Tugas: Apakah yang diminta untuk dilakukan oleh ejen, dan mengapakah aliran kerja itu penting?
- Set semula: Rekod, fail, dasar dan respons luaran yang manakah wujud pada permulaan? Apakah yang mesti dikosongkan, dan bagaimana episod serentak diasingkan?
- Pemerhatian: Apakah yang boleh dibaca oleh ejen, dan apakah yang kekal bersama pengesah? Sediakan peraturan yang diperlukan untuk melaksanakan tugas kepada ejen.
- Tindakan dan perubahan keadaan: Panggilan yang manakah dibenarkan, apakah yang diubah atau dikembalikan oleh setiap panggilan, dan apakah yang berlaku apabila panggilan tidak sah atau berulang dibuat?
- Semakan dan ganjaran: Hasil apakah yang melayakkan setiap ganjaran? Keadaan tidak berkaitan yang manakah mesti kekal tidak berubah, dan tindakan manakah dalam log yang mesti dibenarkan atau dilarang?
- Penamatan: Apakah yang menamatkan episod, apakah had tindakan atau masa, dan bagaimana kegagalan infrastruktur direkodkan?
- Liputan: Contoh manakah yang perlu menguji sempadan dasar dan kes kegagalan? Kes manakah yang akan dikhaskan untuk penilaian?
Semak persekitaran sebelum menggunakannya untuk latihan
Minta pembangun menguji jejak yang lulus dan gagal, termasuk tindakan yang kemudiannya diterbalikkan. Semak bahawa set semula menghapuskan perubahan episod sebelumnya, episod selari tidak berkongsi keadaan yang boleh diubah, dan ejen tidak boleh mengubah pengesah atau lognya. Kekalkan versi dasar, data ujian, pengesah, rangka kerja ejen dan bahagian belakang supaya hasil boleh dihasilkan semula. Untuk contoh penilaian tentang sebab pengisytiharan tugas, tetapan pengganti runner dan dasar bahagian belakang perlu direkodkan secara berasingan, lihat kajian konfigurasi Terminal-Bench kami.
Satu perbelanjaan tetap boleh dihafal. Tambah pelbagai kes, seperti jumlah pada ambang kelulusan dan resit yang tiada, berserta hasil yang dijangka bagi setiap satu; asingkan kes untuk penilaian. Jalankan jejak yang lulus untuk memastikan ganjaran berfungsi, kemudian ukur kekerapan rollout awal ejen mencapainya sebelum bergantung padanya untuk latihan.
sapien1 membantu pasukan menentukan skop persekitaran tugas dan menilai ejen. Mulakan dengan aliran kerja, tugas yang mewakilinya dan hasil yang perlu anda perhatikan.