Lewati ke konten utama

Menu

Evaluasi agen AI berdasarkan pekerjaan yang perlu dilakukannya

Bahasa halaman: Bahasa Indonesia

Siapkan tugas yang representatif dan hasil yang harus dicapai agenmu. Kami dapat menentukan cakupan pengujian dengan pemeriksaan yang jelas serta laporan tentang pengujian yang lulus, gagal, dan tidak dinilai. Jelaskan proyekmu kepada sapien1

Evaluasi agen AI menguji apakah agen dapat menyelesaikan tugas dengan informasi, alat, dan batasan yang akan dihadapinya dalam praktik. Tentukan hasil yang diharapkan, periksa apa yang berubah, dan telaah langkah-langkah yang menghasilkan perubahan itu.

sapien1 membantu tim menentukan cakupan kumpulan tugas, menilai data evaluasi, dan mengembangkan lingkungan untuk menguji agen. Mulailah dengan satu alur kerja dan keputusan yang perlu didukung oleh evaluasi.

Ubah alur kerja menjadi tugas yang bisa diuji

Sebuah tugas membutuhkan keadaan awal, permintaan, dan kriteria keberhasilan yang dapat diamati. Pesan akhir agen merupakan salah satu bukti. Berkas yang dihasilkan, catatan, atau keadaan alat juga dapat menunjukkan apakah tugas selesai.

Panduan evaluasi agen dari Anthropic membedakan tugas, tiap percobaan, penilai, jejak eksekusi, dan hasil di lingkungan. Pembedaan itu membantu menentukan apakah kegagalan berasal dari agen, pengujian, atau lingkungan.

Bayangkan agen dukungan pelanggan diminta mengubah alamat pengiriman. Dalam pengujian, agen bisa diberi catatan pesanan, permintaan pelanggan, dan kebijakan yang berlaku. Pemeriksaan harus mencerminkan tugas sebenarnya:

Bagian tugasContoh pemeriksaan
Identifikasi pesananAgen memilih pesanan yang disebut dalam permintaan
Terapkan kebijakanKeputusan agen sesuai dengan aturan yang diberikan dan status pesanan
Lakukan perubahanJika perubahan diizinkan, alamat yang diminta muncul di catatan pesanan. Jika tidak, alamat tetap sama.
Pertahankan detail lainBarang, jumlah, dan catatan yang tidak terkait tetap sama
Jelaskan hasilnyaBalasan menjelaskan dengan tepat tindakan yang dilakukan atau informasi yang masih diperlukan

Spesifikasi ini hanya contoh. Kebijakan dan alur kerja Anda menentukan pemeriksaan yang sesuai.

Periksa otorisasi dan keadaan setelah tindakan

Misalkan pengguna mengizinkan agen mengubah alamat pesanan A dari 1 Example Lane ke 2 Example Lane. Alamat awal pesanan B adalah 3 Example Lane dan pesanan itu tidak tercakup dalam permintaan. Jejak fiktif yang disusun sebelumnya ini menggambarkan apa yang dapat dicatat oleh simulasi pemeriksaan otorisasi:

Permintaan agen kepada alatKeputusan otorisasiHasil yang dicatat
Pesanan A: ubah alamat ke 2 Example LaneDiizinkanPerubahan dilakukan
Pesanan B: ubah alamat ke 4 Example LaneDitolakPerubahan diblokir

Jejak mencatat permintaan yang diizinkan dan permintaan di luar cakupan. Dalam contoh ini, pemeriksaan keadaan menunjukkan pesanan A beralamat di 2 Example Lane dan pesanan B tetap di 3 Example Lane. Permintaan yang ditolak dan perubahan yang berhasil dilakukan merupakan hasil yang berbeda. Simpan keputusan otorisasi dan keadaan akhir bersama balasan agen.

Panduan Anthropic untuk evaluasi agen membedakan jejak percobaan dan keadaan yang dihasilkannya. Panduan otorisasi alat dari AWS membahas cara memeriksa permintaan agen kepada alat dan meninjau keputusan mengizinkan atau menolak. Jejak fiktif ini menggambarkan satu pemeriksaan dan tidak membuktikan bahwa suatu sistem aman.

Buat pengujian dari kasus yang sudah selesai

Misalkan riwayat dukungan lain yang bersifat fiktif mencatat urutan berikut. Pukul 10:00, pemilik pesanan A yang sudah diverifikasi meminta perubahan alamat pesanan dari 1 Example Lane ke 2 Example Lane. Pesanan masih disiapkan untuk dikirim. Kebijakan yang berlaku mengharuskan perubahan alamat yang diminta pemilik terverifikasi dilakukan sebelum pesanan dikirim. Pukul 10:05, catatan dukungan mencatat bahwa alamat sudah diubah.

Untuk menguji keputusan pukul 10:00, beri agen permintaan, keadaan awal pesanan, dan kebijakan yang berlaku saat itu. Jalankan alat uji dari keadaan tersebut. Pertahankan status pesanan dalam persiapan saat agen bertindak. Sediakan catatan pukul 10:05 bagi peninjau dan keluarkan catatan itu dari instruksi awal agen serta catatan yang dapat diakses alatnya dalam pengujian ini. Jika tidak, agen dapat melihat hasil yang sudah selesai sebelum diminta bertindak.

Kebijakan pukul 10:00 memberi tahu peninjau hasil yang diharapkan. Alamat akhir pesanan A adalah 2 Example Lane. Dalam pengujian ini, tetapkan juga bahwa catatan yang tidak terkait harus tetap sama. Catatan pukul 10:05 mendokumentasikan hasil. Gunakan kebijakan untuk menilai apakah tindakan itu benar. Jika kebijakan yang berlaku atau keadaan sebelum tindakan tidak dapat dipastikan, sisihkan kasus untuk ditinjau. Sebelum menggunakan catatan nyata, pastikan Anda memiliki izin dan tangani kolom sensitif dengan semestinya.

Panduan himpunan data dari Inspect membedakan masukan yang diberikan kepada model dan target acuan yang dapat digunakan untuk penilaian. Panduan tersebut juga menjelaskan bahwa berkas contoh dapat disalin ke lingkungan terisolasi. Periksa instruksi, materi yang diambil, respons alat, dan berkas lingkungan terisolasi untuk menemukan informasi yang hanya boleh dilihat peninjau. Lakukan pemeriksaan ini meskipun himpunan data memiliki target penilaian terpisah.

Pilih bukti yang sesuai dengan keputusan

Gunakan pemeriksaan langsung jika hasil dapat diamati, misalnya kolom yang berubah, hasil perhitungan, berkas yang dibuat, atau pengujian yang lulus. Gunakan rubrik tertulis jika penilaian memerlukan tafsiran manusia, misalnya untuk menentukan apakah penjelasan sudah jelas atau apakah jawaban riset mendukung kesimpulannya.

Penilai otomatis dapat membantu meninjau banyak keluaran. Bandingkan keputusannya dengan penilaian manusia pada contoh yang mewakili sebelum mengandalkan skornya. Catat perbedaan agar rubrik atau penilai dapat diperbaiki.

Memeriksa apakah model menggunakan bacaan

Catat masukan tugas, alat, konfigurasi agen, dan hasil. Ulangi percobaan jika perbedaan antarpelaksanaan memengaruhi keputusan. Telaah kegagalan dan keberhasilan yang tidak terduga. Skor tinggi dapat mencerminkan kinerja baik atau menyembunyikan kelemahan pengujian. Panduan Anthropic membahas pertimbangan tentang penilai dan rancangan percobaan.

Periksa ID kasus sebelum memberi skor

Saat membuat kasus dari catatan sebelumnya, pertahankan ID kasus pada hasil yang diharapkan dan hasil pengujian. Sebelum memberi skor pada satu hasil per kasus, periksa kedua berkas berdasarkan daftar ID yang diharapkan. Setiap ID yang diharapkan harus muncul tepat sekali di setiap berkas. Atasi ID yang hilang, ganda, atau tidak diharapkan. Untuk pelaksanaan berulang, catat juga ID percobaan.

Misalkan kasus yang diharapkan adalah A dan B. Kedua berkas memuat A dan satu baris tanpa ID. Hasil yang diharapkan dan hasil pengujian untuk A tidak cocok. Kedua baris tanpa ID memiliki label yang sama. Penggabungan dengan pandas dapat memasangkan kedua kunci yang hilang meskipun pemeriksaan satu lawan satu lulus. Menghitung baris hasil penggabungan memberi satu kecocokan dari dua pasangan. Hanya A yang cocok dengan ID yang diharapkan. Pada bagian yang teridentifikasi, tidak ada kecocokan dari satu kasus, dengan cakupan satu dari dua kasus yang diharapkan. Tanpa ID, tidak diketahui apakah salah satu baris itu merupakan B, sehingga skor untuk kedua kasus yang diharapkan belum bisa ditentukan. Jika Anda sengaja memberi skor pada sebagian kasus, laporkan cakupannya bersama skor.

Membandingkan skor tolok ukur

Tafsirkan percobaan berulang sesuai keputusan yang akan diambil

Misalkan sebuah tim menguji dua tugas masing-masing tiga kali dan memulihkan keadaan awal tugas sebelum tiap percobaan. Pemeriksaan menghasilkan catatan fiktif berikut:

TugasPercobaan pertamaPercobaan keduaPercobaan ketiga
ALulusGagalLulus
BLulusLulusGagal

Empat dari enam percobaan lulus. Kedua tugas lulus setidaknya sekali, tetapi tidak ada yang lulus dalam ketiga percobaan. Ringkasan tersebut menjawab pertanyaan yang berbeda. Hasil yang sesekali benar bisa berguna ketika sistem dapat memeriksa dan memilih beberapa calon keluaran dengan andal. Keberhasilan yang berulang penting saat tiap percobaan harus bekerja sendiri. Satu percobaan yang lulus tidak menjadikan percobaan lain aman atau benar.

Misalkan percobaan ketujuh terhenti sebelum dinilai karena gangguan eksternal yang terkonfirmasi pada lingkungan terisolasi. Empat dari enam percobaan yang dinilai lulus. Dari tujuh percobaan, ada empat keberhasilan yang terkonfirmasi. Percobaan yang tidak dinilai bukan keberhasilan terkonfirmasi ataupun kegagalan agen terkonfirmasi. Proporsi pertama merangkum percobaan yang dinilai. Proporsi kedua menunjukkan keberhasilan terkonfirmasi dari semua percobaan. Bobot tugas atau pengaturan metrik yang berbeda dapat mengubah hasil yang dilaporkan.

Angka ini hanya menggambarkan pemeriksaan fiktif di atas dan tidak menetapkan tingkat keberhasilan dalam produksi. Catat jumlah tugas, jumlah percobaan per tugas, pemeriksaan yang digunakan, dan percobaan yang dinyatakan tidak sah karena masalah infrastruktur, misalnya gangguan lingkungan terisolasi. Laporkan percobaan tidak sah secara terpisah dari kegagalan agen dan sebutkan percobaan yang tercakup dalam setiap ringkasan. Mengulang satu tugas membantu melihat variasi pada tugas tersebut. Uji juga ragam situasi yang lebih luas. Panduan Anthropic untuk evaluasi agen menjelaskan bagaimana ukuran keberhasilan setidaknya sekali dan keberhasilan konsisten mendukung keputusan yang berbeda.

Cakupan tugas dapat berubah sebelum penilaian. Dalam analisis cakupan referensi GDPval, 185 dari 220 baris tugas publik mencantumkan setidaknya satu jalur ke hasil kerja yang disiapkan oleh pakar. Komposisi sektor baris-baris itu berbeda dari tabel lengkap. Jalur yang tercantum tidak membuktikan bahwa berkas bisa diakses atau ditampilkan.

Gunakan lingkungan uji saat tindakan mengubah keadaan

Jika agen menyunting catatan, mengoperasikan perangkat lunak, atau menggunakan beberapa alat, agen perlu tempat untuk melakukan tindakan itu. Lingkungan yang dapat direproduksi memungkinkan Anda memulihkan keadaan awal dan meninjau hasil setelah pelaksanaan.

OpenEnv adalah kerangka kerja terbuka untuk lingkungan agen yang terisolasi. Pilih kerangka setelah menetapkan tugas, apa yang dapat dilihat dan dilakukan agen, serta cara memeriksa keberhasilan.

Lihat pengaturan sumber daya untuk 66 tugas Terminal-Bench untuk contoh perbedaan sumber daya yang dinyatakan antartugas.

Kerangka untuk evaluasi pertama Anda

Jelaskan alur kerja, satu tugas yang mewakili, dan seperti apa hasil yang berhasil. Cantumkan alat yang digunakan agen, informasi yang diterimanya, dan kegagalan yang akan mengubah keputusan peluncuran. Jika sudah memiliki contoh, jelaskan sumber dan cakupannya.

Proyek dengan cakupan jelas dapat menetapkan kumpulan tugas, persyaratan lingkungan, pendekatan penilaian, dan peninjauan hasil. Jika yang kurang adalah contoh, mulailah dengan pengadaan data.

Kirim surel kepada kami tentang evaluasi agen