Suriin ang AI agent batay sa trabahong kailangan nitong gawin
Wika ng pahina: Tagalog
Magdala ng gawaing kumakatawan sa aktuwal na gamit at ng resultang dapat makamit ng iyong agent. Maaari naming tukuyin ang saklaw ng isang pagsubok na may malinaw na mga pagsusuri at ulat ng mga pumasa, bumagsak at mga run na hindi nabigyan ng score. Ilarawan ang iyong proyekto sa sapien1
Sinusubok ng pagsusuri ng AI agent kung kaya nitong tapusin ang isang gawain gamit ang impormasyon at mga tool na makukuha nito at sa ilalim ng mga limitasyong haharapin nito sa aktuwal na paggamit. Itakda ang inaasahang resulta, tingnan kung ano ang nagbago, at siyasatin ang mga hakbang na humantong sa resulta.
Tumutulong ang sapien1 sa mga team na tukuyin ang saklaw ng mga hanay ng gawain, tasahin ang datos para sa pagsusuri, at bumuo ng mga kapaligiran para sa pagsubok ng agent. Magsimula sa isang daloy ng trabaho at sa desisyong dapat suportahan ng pagsusuri.
Gawing masusubok na gawain ang isang daloy ng trabaho
Kailangan ng gawain ng panimulang kalagayan, kahilingan, at mga pamantayan ng tagumpay na masusuri sa resulta. Bahagi lamang ng ebidensiya ang huling mensahe ng agent. Maaari ring ipakita ng nalikhang mga file, mga rekord, o kalagayan ng mga tool kung natapos ang trabaho.
Pinaghihiwalay ng gabay ng Anthropic sa pagsusuri ng mga agent ang gawain, bawat pagtatangka, mga tagapagbigay ng marka, tala ng pagpapatakbo, at resulta sa kapaligiran. Nakakatulong ang mga pagkakaibang ito para malaman kung sa agent, pagsubok, o kapaligiran nagmula ang kabiguan.
Halimbawa, ipagpalagay na inutusan ang isang agent ng customer support na baguhin ang address ng paghahatid. Maaaring ibigay sa agent sa pagsubok ang rekord ng order, kahilingan ng customer, at patakarang umiiral. Dapat tumugma ang mga tsek sa aktuwal na gawain:
| Bahagi ng gawain | Halimbawang tsek |
|---|---|
| Tukuyin ang order | Pinipili ng agent ang order na tinukoy sa kahilingan |
| Ilapat ang patakaran | Tugma ang desisyon sa ibinigay na mga tuntunin at katayuan ng order |
| Gawin ang pagbabago | Kapag pinapayagan ang pagbabago, lumilitaw sa rekord ng order ang hiniling na address. Kung hindi, hindi nagbabago ang address. |
| Panatilihin ang ibang detalye | Hindi nagbabago ang mga item, dami at rekord na hindi kaugnay |
| Ipaliwanag ang resulta | Tumpak na inilalarawan ng tugon ang ginawang aksiyon o impormasyong kailangan pa |
Halimbawa lamang ang paglalarawan ng gawaing ito. Ang sarili mong patakaran at daloy ng trabaho ang batayan ng mga tsek.
Suriin ang pahintulot at ang kalagayan pagkatapos ng aksiyon
Ipagpalagay na pinahihintulutan ng isang user ang agent na palitan ang address ng order A mula 1 Example Lane patungong 2 Example Lane. Nasa 3 Example Lane ang order B sa simula at hindi saklaw ng kahilingan. Ipinapakita ng paunang isinulat na kathang-isip na tala kung ano ang maaaring itala ng isang kunwaring tsek ng pahintulot:
| Kahilingan ng agent sa tool | Desisyon sa pahintulot | Naitalang resulta |
|---|---|---|
| Order A: palitan ang address ng 2 Example Lane | Pinayagan | Nagawa ang pagbabago |
| Order B: palitan ang address ng 4 Example Lane | Tinanggihan | Hinarang ang pagbabago |
Nasa tala ang kahilingang pinayagan at ang kahilingang labas sa saklaw. Sa halimbawa, makikitang nasa 2 Example Lane ang order A at nanatili sa 3 Example Lane ang order B. Magkaibang resulta ang pagtanggi sa kahilingan at pagpapatupad ng pagbabago. Itabi ang desisyon sa pahintulot at ang huling kalagayan kasama ng tugon ng agent.
Pinaghihiwalay ng gabay ng Anthropic sa pagsusuri ng agent ang tala ng isang pagtatangka at ang kalagayang kinalabasan nito. Tinatalakay ng gabay ng AWS sa pagpapahintulot sa paggamit ng mga tool ang pagbusisi sa mga kahilingan ng agent sa mga tool at ang pagsuri sa pasyang payagan o tanggihan ang mga iyon. Isang tsek lamang ang inilalarawan ng kathang-isip na tala. Hindi nito pinatutunayang ligtas ang isang sistema.
Gumawa ng pagsubok mula sa kasong natapos na
Ipagpalagay na ganito ang nakasaad sa isa pang kathang-isip na tala ng customer support. Alas 10:00, hiniling ng beripikadong may-ari ng order A na palitan ang address ng order mula 1 Example Lane patungong 2 Example Lane. Inihahanda pa ang order para ipadala. Ayon sa umiiral na patakaran, dapat baguhin ang address sa kahilingan ng beripikadong may-ari bago ipadala ang order. Alas 10:05, itinala ng customer support na nabago na ang address.
Para subukin ang desisyon sa 10:00, ibigay sa agent ang kahilingan, orihinal na kalagayan ng order, at patakarang umiiral noon. Simulan sa kalagayang iyon ang mga tool sa pagsubok. Panatilihing nasa paghahanda ang order habang kumikilos ang agent. Ipakita sa tagasuri ang tala sa 10:05 at alisin ito sa panimulang tagubilin ng agent at sa mga rekord na kayang buksan ng mga tool nito sa pagsubok na iyon. Kung hindi, maaaring makita ng agent ang natapos nang resulta bago pa ito utusang kumilos.
Itinatakda ng patakarang umiiral sa 10:00 ang inaasahang resulta para sa tagasuri. Ang huling address ng order A ay 2 Example Lane. Itakda rin na hindi dapat magbago ang mga rekord na walang kaugnayan sa kahilingan. Nasa tala sa 10:05 ang aktuwal na resulta. Gamitin ang patakaran para hatulan kung tama ang aksiyon. Kung hindi matukoy ang patakaran o ang kalagayan bago ang aksiyon, itabi ang kaso para sa karagdagang pagsusuri. Bago gumamit ng tunay na mga rekord, tiyaking may pahintulot at pangasiwaan nang maayos ang mga sensitibong field.
Tinutukoy ng gabay ng Inspect sa mga dataset ang pagkakaiba ng input na ibinibigay sa modelo at ng reperensiyang resulta na magagamit sa pagmamarka. Ipinaliliwanag din nitong maaaring kopyahin sa nakahiwalay na kapaligiran ang mga file ng halimbawa. Suriin ang mga tagubilin, nakuhang materyal, tugon ng tool at mga file sa nakahiwalay na kapaligiran para matukoy ang impormasyong nakalaan lamang sa tagasuri. Gawin ito kahit may hiwalay na reperensiya ang dataset para sa pagmamarka.
Piliin ang ebidensiyang bagay sa desisyon
Gumamit ng tuwirang tsek kung nakikita ang resulta, gaya ng nabagong field, sagot sa kalkulasyon, nalikhang file o test na pumasa. Gumamit ng nakasulat na pamantayan sa pagmamarka kapag kailangan ang paghatol ng tao, halimbawa kung malinaw ang paliwanag o kung sinusuportahan ng sagot sa pananaliksik ang konklusyon nito.
Makakatulong ang awtomatikong tagasuri sa pagrepaso ng maraming output. Bago umasa sa mga marka nito, ihambing ang mga desisyon nito sa pagsusuri ng tao sa mga halimbawang kumakatawan sa tunay na trabaho. Itala ang mga hindi pagkakatugma para mapahusay ang pamantayan o tagasuri.
Alamin kung ginagamit ng modelo ang teksto
Itala ang mga input, tool, setting ng agent at resulta ng gawain. Ulitin ang pagtatangka kung may epekto sa desisyon ang pagkakaiba ng mga takbo. Suriin ang nabigo at ang hindi inaasahang nagtagumpay. Maaaring magpahiwatig ng mahusay na pagganap ang mataas na marka o magkubli ng mahinang pagsubok. Tinatalakay ng gabay ng Anthropic ang mga dapat isaalang-alang sa pagmamarka at pagdisenyo ng mga pagtatangka.
Tiyakin ang mga ID ng kaso bago magmarka
Kapag bumubuo ng kaso mula sa lumang mga rekord, panatilihin ang ID ng kaso sa inaasahang resulta at resulta ng pagsubok. Bago magmarka ng isang resulta kada kaso, itugma ang dalawang file sa listahan ng mga inaasahang ID. Dapat lumitaw nang eksaktong isang beses sa bawat file ang bawat inaasahang ID. Ayusin ang mga nawawala, nadoble, o hindi inaasahang ID. Sa mga inuulit na pagpapatakbo, magtala rin ng ID ng bawat pagtatangka.
Ipagpalagay na inaasahan mo ang mga kasong A at B. Nasa parehong file ang A at isang row na walang ID. Magkaiba ang inaasahang resulta at resulta ng pagsubok para sa A. Pareho ang label ng dalawang row na walang ID. Maaaring pagparesin ng pagsasanib sa pandas ang mga nawawalang key kahit pumasa ang tsek na dapat isa lamang ang katapat ng bawat key. Kung bibilangin ang mga pinagsanib na mga row, isang pares sa dalawa ang magkatugma. Ang A lang ang tugma sa inaasahang ID. Sa bahaging natukoy ang ID, walang tugma sa iisang kaso at sakop ang isa sa dalawang inaasahang kaso. Dahil nawawala ang ID, hindi matukoy kung alinman sa dalawang row ay para sa B. Hindi pa matutukoy ang marka para sa parehong inaasahang kaso. Kung sadyang isang bahagi lang ang mamarkahan mo, iulat kung ano ang sakop nito kasama ng marka.
Paghahambing ng mga score sa benchmark
Ipakahulugan ang mga inuulit na pagtatangka ayon sa desisyon
Ipagpalagay na sinusubok ng isang team ang dalawang gawain nang tigatlong beses at ibinabalik ang panimulang kalagayan ng gawain bago ang bawat pagtatangka. Ito ang mga kathang-isip na resulta ng tsek:
| Gawain | Unang pagtatangka | Ikalawang pagtatangka | Ikatlong pagtatangka |
|---|---|---|---|
| A | Pumasa | Bumagsak | Pumasa |
| B | Pumasa | Pumasa | Bumagsak |
Pumasa ang apat sa anim na pagtatangka. Pumasa ang parehong gawain nang hindi bababa sa isang beses, pero walang gawain na pumasa sa lahat ng tatlong beses. Magkaiba ang tanong na sinasagot ng bawat buod. Maaaring makatulong ang paminsan-minsang tamang resulta kapag maaasahang nasusuri at napipili ng sistema ang isa sa ilang posibleng output. Mahalaga ang paulit-ulit na tagumpay kapag kailangang gumana nang mag-isa ang bawat pagtatangka. Hindi awtomatikong nagiging ligtas o tama ang ibang pagtatangka kapag may isang pumasa.
Ipagpalagay na huminto ang ikapitong pagtatangka bago markahan dahil sa nakumpirmang panlabas na aberya sa nakahiwalay na kapaligiran. Pumasa ang apat sa anim na pagtatangkang namarkahan. Sa kabuuang pitong pagtatangka, apat ang nakumpirmang pumasa. Ang hindi namarkahang pagtatangka ay hindi nakumpirmang tagumpay o nakumpirmang kabiguan ng agent. Ang unang proporsiyon ay tumutukoy sa mga pagtatangkang namarkahan. Ipinapakita ng ikalawa ang nakumpirmang tagumpay mula sa lahat ng pagtatangka. Maaaring magbago ang iniulat na resulta depende sa bigat ng bawat gawain o sa mga setting ng panukat.
Para lamang sa kathang-isip na tsek sa itaas ang mga bilang. Hindi nito itinatakda ang antas ng tagumpay sa aktuwal na paggamit. Itala ang bilang ng gawain, bilang ng pagtatangka sa bawat gawain, mga tsek na ginamit at mga pagtatangkang hindi wasto dahil sa problema sa imprastraktura, gaya ng aberya sa nakahiwalay na kapaligiran. Iulat nang hiwalay sa pagkabigo ng agent ang mga hindi wastong pagtatangka at sabihin kung alin ang kasama sa bawat buod. Makikita sa pag-uulit ang pagkakaiba ng mga takbo para sa isang gawain. Sumubok din ng mas malawak na hanay ng mga sitwasyon. Tinatalakay ng gabay ng Anthropic sa pagsusuri ng mga agent kung paano ginagamit sa magkaibang desisyon ang pagsukat ng kahit isang tagumpay at ng tuloy-tuloy na tagumpay.
Maaaring magbago ang saklaw ng mga gawain bago magmarka. Sa pagsusuri namin sa saklaw ng mga reperensiya ng GDPval, may 185 sa 220 pampublikong row ng gawain na naglilista ng kahit isang path patungo sa output na ginawa ng eksperto. Iba ang hatian ng mga sektor sa mga row na iyon kaysa sa buong talahanayan. Hindi patunay ang nakalistang path na may access sa file o na maipapakita ito.
Gumamit ng kapaligiran sa pagsubok kapag nagbabago ng kalagayan ang mga aksiyon
Kung nag-e-edit ng rekord ang agent, nagpapatakbo ng software, o gumagamit ng ilang tool, kailangan nito ng lugar kung saan maisasagawa ang mga iyon. Sa kapaligirang maaaring ibalik sa parehong kalagayan, maibabalik mo ang panimulang kalagayan at masusuri ang resulta pagkatapos ng pagpapatakbo.
Ang OpenEnv ay isang bukas na balangkas para sa nakahiwalay na kapaligiran ng mga agent. Pumili ng balangkas pagkatapos tukuyin ang gawain, kung ano ang makikita at magagawa ng agent, at kung paano susuriin ang tagumpay.
Para sa halimbawa ng pagkakaiba ng idineklarang mapagkukunan sa bawat gawain, tingnan ang mga setting ng mapagkukunan para sa 66 na gawain ng Terminal-Bench.
Maikling gabay para sa una mong pagsusuri
Ilarawan ang daloy ng trabaho, isang gawaing kumakatawan dito, at kung paano makikilala ang matagumpay na resulta. Idagdag ang mga tool na ginagamit ng agent, impormasyong natatanggap nito, at mga pagkabigong makakapagpabago sa desisyon na ilunsad ito. Kung may mga halimbawa ka na, ilarawan ang pinagmulan at saklaw ng mga iyon.
Pagkatapos ay maaaring tukuyin sa proyektong malinaw ang saklaw ang hanay ng gawain, mga kailangan sa kapaligiran, paraan ng pagmamarka at pagrepaso ng mga resulta. Kung mismong mga halimbawa ang kulang, magsimula sa paghahanap at pagkuha ng datos.