Langkau ke kandungan utama

Menu

Nilai ejen AI berdasarkan kerja yang perlu dilakukannya

Bahasa halaman: Bahasa Melayu

Bawa satu tugas yang mewakili penggunaan sebenar dan hasil yang perlu dicapai oleh ejen anda. Kami boleh menetapkan skop ujian dengan semakan yang jelas serta laporan tentang pelaksanaan yang lulus, gagal dan tidak diberi skor. Terangkan projek anda kepada sapien1

Penilaian ejen AI menguji sama ada ejen dapat menyelesaikan tugas dengan maklumat, alat dan kekangan yang akan ditemuinya dalam penggunaan sebenar. Tentukan hasil yang dijangka, semak perkara yang berubah dan teliti langkah yang menghasilkan perubahan itu.

sapien1 membantu pasukan menetapkan skop set tugas, menilai data penilaian dan membina persekitaran untuk menguji ejen. Mulakan dengan satu aliran kerja dan keputusan yang perlu disokong oleh penilaian.

Tukar aliran kerja kepada tugas yang boleh diuji

Tugas memerlukan keadaan awal, permintaan dan kriteria kejayaan yang boleh diperhatikan. Mesej akhir ejen hanyalah sebahagian daripada bukti. Fail yang terhasil, rekod atau keadaan alat juga boleh menunjukkan sama ada kerja telah selesai.

Panduan Anthropic untuk menilai ejen membezakan antara tugas, setiap percubaan, penilai, jejak pelaksanaan dan hasil dalam persekitaran. Perbezaan ini membantu menentukan sama ada kegagalan berpunca daripada ejen, ujian atau persekitaran.

Sebagai contoh, bayangkan ejen khidmat pelanggan diminta menukar alamat penghantaran. Ujian boleh memberikan rekod pesanan, permintaan pelanggan dan dasar yang terpakai kepada ejen. Semakan perlu mencerminkan tugas sebenar:

Bahagian tugasContoh semakan
Kenal pasti pesananEjen memilih pesanan yang dinyatakan dalam permintaan
Gunakan dasarKeputusan mengikut peraturan yang diberikan dan status pesanan
Laksanakan perubahanJika perubahan dibenarkan, alamat yang diminta muncul dalam rekod pesanan. Jika tidak, alamat tidak berubah.
Kekalkan butiran lainBarangan, kuantiti dan rekod yang tidak berkaitan kekal tanpa perubahan
Terangkan hasilJawapan menerangkan tindakan yang diambil atau maklumat yang masih diperlukan dengan tepat

Spesifikasi tugas ini hanya contoh. Dasar dan aliran kerja anda menentukan semakan yang sesuai.

Semak kebenaran dan keadaan selepas tindakan

Andaikan pengguna membenarkan ejen menukar alamat pesanan A daripada 1 Example Lane kepada 2 Example Lane. Alamat awal pesanan B ialah 3 Example Lane dan pesanan itu di luar skop permintaan. Jejak rekaan yang disediakan lebih awal ini menggambarkan perkara yang mungkin direkodkan oleh simulasi semakan kebenaran:

Permintaan ejen kepada alatKeputusan kebenaranHasil yang direkodkan
Pesanan A: tukar alamat kepada 2 Example LaneDibenarkanPerubahan dilaksanakan
Pesanan B: tukar alamat kepada 4 Example LaneDitolakPerubahan disekat

Jejak itu merekodkan permintaan yang dibenarkan dan permintaan di luar skop. Dalam contoh ini, semakan keadaan menunjukkan pesanan A beralamat di 2 Example Lane dan pesanan B kekal di 3 Example Lane. Permintaan yang ditolak dan perubahan yang dilaksanakan ialah hasil yang berbeza. Simpan keputusan kebenaran dan keadaan akhir bersama jawapan ejen.

Panduan Anthropic untuk penilaian ejen membezakan jejak sesuatu percubaan daripada keadaan yang terhasil. Panduan AWS tentang kebenaran menggunakan alat menerangkan cara menyemak permintaan ejen kepada alat dan meneliti keputusan untuk membenarkan atau menolaknya. Jejak rekaan ini menggambarkan satu semakan dan tidak membuktikan bahawa sistem itu selamat.

Bina ujian daripada kes yang telah selesai

Andaikan satu lagi sejarah khidmat pelanggan yang direka merekodkan urutan ini. Pada 10:00, pemilik pesanan A yang telah disahkan meminta alamat pesanan ditukar daripada 1 Example Lane kepada 2 Example Lane. Pesanan itu masih disediakan untuk dihantar. Dasar yang berkuat kuasa menetapkan bahawa perubahan alamat yang diminta oleh pemilik yang disahkan perlu dibuat sebelum pesanan dihantar. Pada 10:05, catatan khidmat pelanggan merekodkan perubahan alamat.

Untuk menguji keputusan pada 10:00, berikan permintaan, keadaan asal pesanan dan dasar yang berkuat kuasa ketika itu kepada ejen. Mulakan alat ujian daripada keadaan tersebut. Kekalkan pesanan dalam peringkat penyediaan semasa ejen bertindak. Sediakan catatan 10:05 untuk penyemak dan pastikan ia tiada dalam arahan awal kepada ejen atau rekod yang boleh dicapai oleh alatnya dalam ujian itu. Jika tidak, ejen mungkin melihat hasil yang sudah siap sebelum diminta bertindak.

Dasar yang berkuat kuasa pada 10:00 menentukan hasil yang dijangka untuk penyemak. Alamat akhir pesanan A ialah 2 Example Lane. Tetapkan juga bahawa rekod yang tidak berkaitan mesti kekal tanpa perubahan. Catatan 10:05 merekodkan hasil. Gunakan dasar untuk menilai sama ada tindakan itu betul. Jika dasar yang terpakai atau keadaan sebelum tindakan tidak dapat dipastikan, ketepikan kes untuk semakan. Sebelum menggunakan rekod sebenar, sahkan kebenaran untuk menggunakannya dan kendalikan medan sensitif dengan sewajarnya.

Panduan set data Inspect membezakan input yang diberikan kepada model daripada sasaran rujukan yang boleh digunakan untuk penilaian. Panduan itu juga menerangkan bahawa fail contoh boleh disalin ke persekitaran terpencil. Semak arahan, bahan yang didapatkan semula, respons alat dan fail persekitaran terpencil untuk mengesan maklumat yang dikhaskan untuk penyemak. Lakukan semakan ini walaupun set data mempunyai sasaran penilaian yang berasingan.

Pilih bukti yang sesuai dengan keputusan

Gunakan semakan langsung apabila hasilnya boleh diperhatikan, seperti medan yang berubah, pengiraan, fail yang dijana atau ujian yang lulus. Gunakan rubrik bertulis apabila penilaian memerlukan tafsiran manusia, misalnya untuk menentukan sama ada penjelasan itu jelas atau jawapan penyelidikan menyokong kesimpulannya.

Penilai automatik boleh membantu menyemak banyak output. Bandingkan keputusannya dengan semakan manusia pada contoh yang mewakili sebelum bergantung pada skornya. Rekodkan perbezaan supaya rubrik atau penilai boleh diperbaik.

Semak sama ada model menggunakan petikan

Rekodkan input tugas, alat, konfigurasi ejen dan hasilnya. Ulangi percubaan apabila perbezaan antara pelaksanaan mempengaruhi keputusan. Teliti pelaksanaan yang gagal dan yang berjaya di luar jangkaan. Skor tinggi boleh mencerminkan prestasi yang baik atau menutup kelemahan ujian. Panduan Anthropic membincangkan pertimbangan tentang penilai dan reka bentuk percubaan.

Semak ID kes sebelum memberikan skor

Apabila membina kes daripada rekod lama, kekalkan ID kes pada hasil yang dijangka dan hasil ujian. Sebelum memberikan skor kepada satu hasil bagi setiap kes, semak kedua-dua fail berdasarkan senarai ID yang dijangka. Setiap ID yang dijangka mesti muncul sekali sahaja dalam setiap fail. Selesaikan masalah ID yang hilang, pendua atau tidak dijangka. Bagi pelaksanaan berulang, rekodkan juga ID percubaan.

Andaikan anda menjangka kes A dan B. Kedua-dua fail mengandungi A dan satu baris tanpa ID. Hasil yang dijangka dan hasil ujian untuk A tidak sepadan. Dua baris tanpa ID mempunyai label yang sama. Penggabungan dengan pandas boleh memadankan kunci yang hilang itu walaupun semakan hubungan satu dengan satu lulus. Kiraan baris yang digabungkan memberikan satu padanan daripada dua pasangan. Hanya A sepadan dengan ID yang dijangka. Subset yang dikenal pasti mempunyai sifar padanan dalam satu kes dan meliputi satu daripada dua kes yang dijangka. Tanpa ID, tidak diketahui sama ada salah satu baris itu merujuk kepada B. Oleh itu skor untuk kedua-dua kes yang dijangka masih tidak dapat ditentukan. Jika anda sengaja menilai subset, laporkan liputannya bersama skor.

Membandingkan skor penanda aras

Tafsir percubaan berulang mengikut keputusan yang perlu dibuat

Andaikan satu pasukan menguji dua tugas sebanyak tiga kali setiap satu dan memulihkan keadaan awal sebelum setiap percubaan. Semakan menghasilkan keputusan rekaan ini:

TugasPercubaan pertamaPercubaan keduaPercubaan ketiga
ALulusGagalLulus
BLulusLulusGagal

Empat daripada enam percubaan lulus. Kedua-dua tugas lulus sekurang-kurangnya sekali, tetapi tiada yang lulus dalam ketiga-tiga percubaan. Ringkasan itu menjawab soalan berbeza. Hasil yang betul sekali-sekala mungkin berguna jika sistem boleh menyemak dan memilih antara beberapa output yang mungkin dengan andal. Kejayaan berulang penting apabila setiap percubaan perlu berfungsi sendiri. Satu percubaan yang lulus tidak menjadikan percubaan lain selamat atau betul.

Sekarang andaikan percubaan ketujuh terhenti sebelum dinilai kerana gangguan luaran yang disahkan pada persekitaran terpencil. Empat daripada enam percubaan yang dinilai lulus. Empat daripada tujuh percubaan keseluruhan menghasilkan kejayaan yang disahkan. Percubaan yang tidak dinilai bukan kejayaan yang disahkan dan bukan kegagalan ejen yang disahkan. Perkadaran pertama meringkaskan percubaan yang dinilai. Perkadaran kedua menunjukkan kejayaan yang disahkan dalam semua percubaan. Pemberat tugas atau tetapan metrik yang berbeza boleh mengubah hasil yang dilaporkan.

Angka ini hanya menerangkan semakan rekaan di atas dan tidak menetapkan kadar kejayaan dalam penggunaan sebenar. Rekodkan bilangan tugas, bilangan percubaan bagi setiap tugas, semakan yang digunakan dan percubaan yang menjadi tidak sah akibat masalah infrastruktur seperti gangguan persekitaran terpencil. Laporkan percubaan tidak sah secara berasingan daripada kegagalan ejen dan nyatakan percubaan yang dimasukkan dalam setiap ringkasan. Mengulangi satu tugas membantu mendedahkan variasi pada tugas itu. Uji juga situasi yang lebih pelbagai. Panduan Anthropic untuk penilaian ejen membincangkan cara ukuran kejayaan sekurang-kurangnya sekali dan kejayaan yang konsisten menyokong keputusan yang berbeza.

Liputan tugas boleh berubah sebelum pemarkahan. Dalam analisis liputan rujukan GDPval kami, 185 daripada 220 baris tugas awam menyenaraikan sekurang-kurangnya satu laluan kepada hasil kerja yang disediakan oleh pakar. Campuran sektor bagi baris tersebut berbeza daripada jadual penuh. Laluan yang disenaraikan tidak membuktikan bahawa fail itu boleh dicapai atau dipaparkan.

Gunakan persekitaran ujian apabila tindakan mengubah keadaan

Jika ejen menyunting rekod, mengendalikan perisian atau menggunakan pelbagai alat, ia memerlukan tempat untuk bertindak. Persekitaran yang boleh dihasilkan semula membolehkan anda memulihkan keadaan awal dan meneliti hasil selepas sesuatu pelaksanaan.

OpenEnv ialah rangka kerja terbuka untuk persekitaran ejen yang terpencil. Pilih rangka kerja selepas menentukan tugas, perkara yang boleh dilihat dan dilakukan oleh ejen, serta cara menyemak kejayaan.

Lihat tetapan sumber untuk 66 tugas Terminal-Bench bagi contoh bagaimana sumber yang diisytiharkan boleh berbeza mengikut tugas.

Rangka ringkas untuk penilaian pertama anda

Terangkan aliran kerja, satu tugas yang mewakili kerja itu dan ciri hasil yang berjaya. Sertakan alat yang digunakan oleh ejen, maklumat yang diterimanya dan sebarang kegagalan yang akan mengubah keputusan pelancaran. Jika anda sudah mempunyai contoh, terangkan sumber dan liputannya.

Projek yang jelas skopnya kemudian boleh menetapkan set tugas, keperluan persekitaran, pendekatan penilaian dan semakan hasil. Jika contoh itu sendiri belum ada, mulakan dengan pemerolehan data.

E-mel kepada kami tentang penilaian ejen