Chuyển đến nội dung chính

Menu

Đánh giá tác nhân AI dựa trên công việc cần thực hiện

Ngôn ngữ trang: Tiếng Việt

Hãy đưa ra một nhiệm vụ tiêu biểu và kết quả mà tác tử của bạn cần đạt được. Chúng tôi có thể xác định phạm vi kiểm thử với các bước kiểm tra rõ ràng và báo cáo về những lượt đạt, không đạt và không được chấm điểm. Mô tả dự án của bạn cho sapien1

Đánh giá tác nhân AI giúp xác định liệu tác nhân có hoàn thành nhiệm vụ với thông tin, công cụ và giới hạn mà nó sẽ gặp trong thực tế hay không. Hãy xác định kết quả mong đợi, kiểm tra những thay đổi và xem xét các bước dẫn đến kết quả.

sapien1 giúp đội ngũ xác định phạm vi bộ nhiệm vụ, xem xét dữ liệu đánh giá và xây dựng môi trường để kiểm thử tác nhân. Hãy bắt đầu với một quy trình làm việc và quyết định mà việc đánh giá cần hỗ trợ.

Chuyển quy trình làm việc thành nhiệm vụ có thể kiểm thử

Một nhiệm vụ cần có trạng thái ban đầu, yêu cầu và tiêu chí thành công quan sát được. Thông báo cuối cùng của tác nhân là một phần bằng chứng. Tệp tạo ra, bản ghi hoặc trạng thái công cụ cũng có thể cho biết công việc đã hoàn thành hay chưa.

Hướng dẫn đánh giá tác nhân của Anthropic phân biệt nhiệm vụ, từng lượt thử, bộ chấm điểm, dấu vết thực thi và kết quả trong môi trường. Những điểm khác biệt này giúp xác định sự cố bắt nguồn từ tác nhân, phép thử hay môi trường.

Chẳng hạn, giả sử một tác nhân hỗ trợ khách hàng được yêu cầu đổi địa chỉ giao hàng. Phép thử có thể cung cấp bản ghi đơn hàng, yêu cầu của khách hàng và chính sách áp dụng. Các phép kiểm cần phản ánh đúng nhiệm vụ thực tế:

Phần việcVí dụ về phép kiểm
Xác định đơn hàngTác nhân chọn đơn hàng được nêu trong yêu cầu
Áp dụng chính sáchQuyết định phù hợp với quy tắc đã cung cấp và trạng thái đơn hàng
Thực hiện thay đổiNếu được phép thay đổi, địa chỉ yêu cầu xuất hiện trong bản ghi đơn hàng. Nếu không, địa chỉ giữ nguyên.
Giữ nguyên chi tiết khácMặt hàng, số lượng và các bản ghi không liên quan đều giữ nguyên
Giải thích kết quảPhản hồi mô tả đúng thao tác đã thực hiện hoặc thông tin còn thiếu

Đây là đặc tả nhiệm vụ để minh họa. Hãy chọn phép kiểm dựa trên chính sách và quy trình của bạn.

Kiểm tra quyền và trạng thái sau thao tác

Giả sử người dùng cho phép tác nhân đổi địa chỉ đơn A từ 1 Example Lane thành 2 Example Lane. Đơn B ban đầu có địa chỉ 3 Example Lane và nằm ngoài phạm vi yêu cầu. Dấu vết hư cấu soạn sẵn dưới đây minh họa những gì một phép kiểm quyền giả lập có thể ghi lại:

Yêu cầu tác nhân gửi tới công cụQuyết định cấp quyềnKết quả được ghi nhận
Đơn A: đổi địa chỉ thành 2 Example LaneCho phépĐã thực hiện thay đổi
Đơn B: đổi địa chỉ thành 4 Example LaneTừ chốiĐã chặn thay đổi

Dấu vết ghi lại cả yêu cầu được phép và yêu cầu ngoài phạm vi. Trong ví dụ này, phép kiểm trạng thái cho thấy đơn A có địa chỉ 2 Example Lane, còn đơn B vẫn ở 3 Example Lane. Yêu cầu bị từ chối và thay đổi đã thực hiện là hai kết quả khác nhau. Hãy lưu quyết định cấp quyền và trạng thái cuối cùng cùng với phản hồi của tác nhân.

Hướng dẫn đánh giá tác nhân của Anthropic phân biệt dấu vết của một lượt thử với trạng thái sau lượt đó. Hướng dẫn của AWS về cấp quyền cho công cụ đề cập đến việc kiểm tra yêu cầu tác nhân gửi tới công cụ và xem lại quyết định cho phép hoặc từ chối. Dấu vết hư cấu minh họa một phép kiểm và không chứng minh hệ thống an toàn.

Xây dựng phép thử từ một trường hợp đã xử lý

Giả sử một lịch sử hỗ trợ hư cấu khác ghi lại trình tự sau. Lúc 10:00, chủ đơn A đã được xác minh yêu cầu đổi địa chỉ đơn hàng từ 1 Example Lane thành 2 Example Lane. Đơn vẫn đang được chuẩn bị để gửi đi. Chính sách có hiệu lực yêu cầu đổi địa chỉ theo đề nghị của chủ đơn đã xác minh trước khi gửi đơn. Lúc 10:05, ghi chú hỗ trợ ghi lại rằng địa chỉ đã được thay đổi.

Để kiểm thử quyết định lúc 10:00, hãy cung cấp cho tác nhân yêu cầu, trạng thái ban đầu của đơn hàng và chính sách có hiệu lực lúc đó. Khởi động công cụ kiểm thử từ trạng thái này. Giữ đơn ở trạng thái chuẩn bị trong khi tác nhân làm việc. Cho người đánh giá xem ghi chú lúc 10:05 và loại ghi chú này khỏi chỉ dẫn ban đầu của tác nhân lẫn các bản ghi mà công cụ của nó có thể truy cập trong phép thử. Nếu không, tác nhân có thể thấy kết quả hoàn tất trước khi được yêu cầu hành động.

Chính sách lúc 10:00 cho người đánh giá biết kết quả mong đợi. Địa chỉ cuối cùng của đơn A là 2 Example Lane. Hãy yêu cầu các bản ghi không liên quan cũng giữ nguyên trong phép thử. Ghi chú lúc 10:05 ghi nhận kết quả. Dùng chính sách để đánh giá thao tác có đúng hay không. Nếu chưa xác định được chính sách áp dụng hoặc trạng thái trước thao tác, hãy tách trường hợp đó ra để xem xét. Trước khi dùng bản ghi thực, xác nhận quyền sử dụng và xử lý phù hợp các trường nhạy cảm.

Hướng dẫn về tập dữ liệu của Inspect phân biệt đầu vào gửi cho mô hình với kết quả tham chiếu có thể dùng để chấm điểm. Tài liệu cũng giải thích rằng có thể sao chép tệp của ví dụ vào môi trường cô lập. Hãy kiểm tra lời nhắc, tài liệu truy xuất, phản hồi của công cụ và tệp trong môi trường cô lập để phát hiện thông tin chỉ dành cho người đánh giá. Thực hiện các phép kiểm này ngay cả khi tập dữ liệu có kết quả tham chiếu riêng để chấm điểm.

Chọn bằng chứng phù hợp với quyết định

Hãy kiểm tra trực tiếp khi quan sát được kết quả, chẳng hạn một trường đã đổi, một phép tính, tệp được tạo hoặc bài kiểm thử đã đạt. Dùng bảng tiêu chí thành văn khi cần con người diễn giải, ví dụ để đánh giá lời giải thích có rõ ràng hay câu trả lời nghiên cứu có đủ căn cứ cho kết luận hay không.

Bộ chấm tự động có thể hỗ trợ đánh giá nhiều đầu ra. Trước khi dựa vào điểm số, hãy đối chiếu quyết định của bộ chấm với đánh giá của con người trên các ví dụ đại diện. Ghi lại điểm bất đồng để cải thiện tiêu chí hoặc bộ chấm.

Kiểm tra mô hình có dùng đoạn văn không

Ghi lại đầu vào nhiệm vụ, công cụ, cấu hình tác nhân và kết quả. Lặp lại lượt thử khi sự khác biệt giữa các lần chạy ảnh hưởng đến quyết định. Xem xét các lượt thất bại và các lượt thành công bất ngờ. Điểm cao có thể phản ánh hiệu năng tốt hoặc che khuất một phép thử yếu. Hướng dẫn của Anthropic bàn về lựa chọn bộ chấm và thiết kế lượt thử.

Kiểm tra mã trường hợp trước khi chấm điểm

Khi tạo một trường hợp từ bản ghi cũ, hãy lưu mã trường hợp trong cả kết quả mong đợi và kết quả kiểm thử. Trước khi chấm một kết quả cho mỗi trường hợp, đối chiếu cả hai tệp với danh sách mã mong đợi. Mỗi mã mong đợi phải xuất hiện đúng một lần trong mỗi tệp. Khắc phục mã bị thiếu, trùng lặp hoặc không có trong danh sách. Với các lần chạy lặp lại, hãy lưu cả mã lượt thử.

Giả sử bạn mong đợi hai trường hợp A và B. Cả hai tệp đều có A và một dòng thiếu mã. Kết quả mong đợi và kết quả kiểm thử của A không khớp. Hai dòng thiếu mã có cùng nhãn. Phép nối trong pandas có thể ghép các khóa bị thiếu với nhau ngay cả khi vượt qua phép kiểm quan hệ một đối một. Đếm các dòng đã nối cho thấy một kết quả khớp trong hai cặp. Chỉ A khớp với mã mong đợi. Tập con đã xác định có không lượt khớp trong một trường hợp và bao phủ một trong hai trường hợp mong đợi. Do thiếu mã, chưa rõ dòng nào trong hai dòng có thuộc B hay không. Vì vậy, chưa xác định được điểm cho cả hai trường hợp mong đợi. Nếu chủ ý chỉ chấm một tập con, hãy báo cáo độ bao phủ cùng với điểm.

So sánh điểm đánh giá chuẩn

Diễn giải các lượt thử lặp lại theo quyết định cần đưa ra

Giả sử một nhóm kiểm tra hai nhiệm vụ, mỗi nhiệm vụ ba lần, và khôi phục trạng thái ban đầu của nhiệm vụ trước mỗi lượt thử. Các phép kiểm cho kết quả hư cấu sau:

Nhiệm vụLượt thứ nhấtLượt thứ haiLượt thứ ba
AĐạtKhông đạtĐạt
BĐạtĐạtKhông đạt

Bốn trong sáu lượt thử đạt. Cả hai nhiệm vụ đều đạt ít nhất một lần, nhưng không nhiệm vụ nào đạt cả ba lần. Hai cách tổng hợp trả lời những câu hỏi khác nhau. Đôi khi có kết quả đúng cũng hữu ích nếu hệ thống có thể kiểm tra đáng tin cậy nhiều đầu ra khả dĩ và chọn một đầu ra phù hợp. Thành công lặp lại quan trọng khi từng lượt thử phải tự hoạt động. Một lượt đạt không đảm bảo các lượt khác an toàn hoặc đúng.

Giả sử lượt thử thứ bảy dừng trước khi chấm điểm do sự cố bên ngoài đã được xác nhận ở môi trường cô lập. Bốn trong sáu lượt đã chấm đạt. Tính trên cả bảy lượt, có bốn lượt được xác nhận đạt. Lượt chưa chấm không phải là lượt được xác nhận thành công hay lỗi đã xác nhận của tác nhân. Tỷ lệ thứ nhất tóm tắt các lượt đã chấm. Tỷ lệ thứ hai cho biết số lượt được xác nhận đạt trong tất cả lượt thử. Trọng số nhiệm vụ hoặc thiết lập chỉ số khác nhau có thể làm thay đổi kết quả báo cáo.

Những con số này chỉ mô tả các phép kiểm hư cấu ở trên và không xác lập tỷ lệ thành công trong môi trường vận hành thực tế. Hãy ghi lại số nhiệm vụ, số lượt thử cho mỗi nhiệm vụ, các phép kiểm đã dùng và lượt bị vô hiệu do sự cố hạ tầng, chẳng hạn môi trường cô lập bị gián đoạn. Báo cáo riêng các lượt bị vô hiệu với lỗi của tác nhân và nêu rõ từng bản tổng hợp bao gồm những lượt nào. Lặp lại một nhiệm vụ giúp phát hiện biến động trên nhiệm vụ đó. Hãy kiểm thử thêm nhiều tình huống khác nhau. Hướng dẫn đánh giá tác nhân của Anthropic giải thích cách chỉ số đạt ít nhất một lần và chỉ số thành công nhất quán hỗ trợ các quyết định khác nhau.

Độ bao phủ nhiệm vụ có thể thay đổi trước khi chấm điểm. Trong phân tích độ bao phủ tài liệu tham chiếu GDPval của chúng tôi, 185 trong 220 dòng nhiệm vụ công khai liệt kê ít nhất một đường dẫn tới sản phẩm công việc do chuyên gia thực hiện. Cơ cấu ngành của các dòng đó khác với bảng đầy đủ. Việc liệt kê đường dẫn không chứng minh rằng có thể truy cập hay hiển thị tệp.

Dùng môi trường kiểm thử khi thao tác làm thay đổi trạng thái

Nếu tác nhân sửa bản ghi, vận hành phần mềm hoặc dùng nhiều công cụ, tác nhân cần nơi để thực hiện các thao tác đó. Một môi trường có thể tái lập cho phép khôi phục trạng thái ban đầu và kiểm tra kết quả sau mỗi lần chạy.

OpenEnv là một khung mở cho môi trường tác nhân cô lập. Hãy chọn khung sau khi xác định nhiệm vụ, thông tin tác nhân có thể thấy, hành động nó có thể thực hiện và cách kiểm tra thành công.

Để xem tài nguyên được khai báo có thể khác nhau giữa các nhiệm vụ thế nào, hãy xem cấu hình tài nguyên của 66 nhiệm vụ Terminal-Bench.

Mẫu đề bài cho lần đánh giá đầu tiên

Mô tả quy trình làm việc, một nhiệm vụ đại diện và dấu hiệu của kết quả thành công. Bổ sung công cụ tác nhân dùng, thông tin tác nhân nhận và lỗi có thể khiến quyết định phát hành thay đổi. Nếu đã có ví dụ, hãy nêu nguồn và phạm vi bao phủ của chúng.

Với phạm vi dự án rõ ràng, có thể xác định bộ nhiệm vụ, yêu cầu môi trường, phương pháp chấm điểm và cách xem xét kết quả. Nếu thiếu chính các ví dụ, hãy bắt đầu từ tìm nguồn và thu thập dữ liệu.

Gửi email cho chúng tôi về đánh giá tác nhân