Chuyển đến nội dung chính

Menu

Cách đặc tả môi trường RL cho tác nhân AI

Ngôn ngữ: Tiếng Việt

Hãy đưa ra một quy trình làm việc, các hành động mà tác tử có thể thực hiện và một ví dụ về kết quả thành công. Chúng tôi có thể giúp xác định phạm vi môi trường tác vụ với các điều kiện đặt lại, quy tắc chấm điểm và bước kiểm tra. Mô tả dự án của bạn cho sapien1

Môi trường học tăng cường (RL) cung cấp cho tác nhân một nơi để thử thực hiện nhiệm vụ, thực hiện hành động và nhận phản hồi. Với quy trình nghiệp vụ, môi trường có thể mô phỏng các bản ghi và công cụ để mỗi lần thử đều bắt đầu từ một trạng thái đã biết. Một bản đặc tả hữu ích cho người xây dựng biết tác nhân có thể thấy và làm gì, trạng thái thay đổi như thế nào, khi nào một lần thử kết thúc và kết quả được chấm điểm ra sao.

Một lần thử là một lượt tương tác (episode). Quan sát (observation) là thông tin môi trường cung cấp cho tác nhân và phần thưởng (reward) là tín hiệu dạng số về hành vi của tác nhân. Các khái niệm cốt lõi của OpenEnv mô tả môi trường qua việc đặt lại, hành động, quan sát và phần thưởng.

Môi trường cung cấp nhiệm vụ và phản hồi. Hệ thống huấn luyện RL có thể dùng phần thưởng để cập nhật chính sách ra quyết định của tác nhân; ngược lại, một lần đánh giá có thể dùng môi trường để đo lường tác nhân mà không cập nhật tác nhân. Xem tổng quan về huấn luyện của OpenEnv và hướng dẫn đánh giá tác nhân của chúng tôi.

Ví dụ: Tác nhân xem xét chi phí bữa ăn

Giả sử một tác nhân được yêu cầu xem xét chi phí bữa ăn và ghi nhận bước tiếp theo. Dưới đây là một bản đặc tả môi trường hư cấu; môi trường này chưa được xây dựng hoặc kiểm thử. Các bản ghi và hành động trong đó đều được mô phỏng và không thể thực hiện thanh toán.

Nhiệm vụ giao cho tác nhân là: “Xem xét chi phí EX-104 theo chính sách và ghi nhận bước tiếp theo.”

Trạng thái ban đầu và đặt lại

Khi bắt đầu mỗi lượt tương tác, tạo các bản sao độc lập của những bản ghi sau:

TrườngEX-104EX-105
LoạiBữa ănBữa ăn
Số tiền$34$20
Hóa đơnCóCó
Trạng tháipendingpending
Người quản lý được chỉ địnhM1M2
Phê duyệt của người quản lýKhông cóKhông có

EX-105 là một bản ghi không liên quan; bản ghi này giúp bộ kiểm chứng kiểm tra xem tác nhân có để nguyên các công việc khác hay không. Việc đặt lại cũng xóa mọi yêu cầu phê duyệt và nhật ký hành động, sau đó gán một ID lượt tương tác mới. Không có người quản lý nào phản hồi trong lượt tương tác. Các lượt tương tác phải giữ riêng các bản ghi có thể thay đổi, yêu cầu và nhật ký của mình, kể cả khi chạy đồng thời. Tài liệu tham chiếu API cốt lõi của OpenEnv mô tả việc cô lập các phiên đồng thời là một yêu cầu đối với môi trường chạy đồng thời của OpenEnv.

Chính sách mà tác nhân có thể truy cập quy định chi phí bữa ăn có hóa đơn đủ điều kiện trong hạn mức đến và bao gồm 50 $. Bữa ăn trên 30 $ cần được người quản lý được chỉ định phê duyệt trước khi chi phí đó có thể được phê duyệt. Khi cần nhưng chưa có sự phê duyệt đó, tác nhân phải yêu cầu phê duyệt và đặt trạng thái chi phí thành awaiting_approval.

Với EX-104, hóa đơn đã có và 34 $ nằm trong hạn mức bữa ăn, nhưng số tiền vượt ngưỡng cần phê duyệt. Vì M1 chưa phê duyệt, bước tiếp theo được kỳ vọng là yêu cầu M1 phê duyệt và để EX-104 ở trạng thái chờ phê duyệt.

Quan sát và các hành động được phép

Khi đặt lại, tác nhân nhận được nhiệm vụ, cấu trúc của các hành động khả dụng và số hành động còn lại là mười. Mỗi phản hồi chưa kết thúc lượt, kể cả lỗi do lệnh gọi không hợp lệ trước khi đạt giới hạn, đều cho biết số hành động còn lại. Phản hồi kết thúc đánh dấu lượt tương tác đã kết thúc. Tên các hành động mô phỏng dưới đây chỉ mang tính minh họa và thuộc về ví dụ này.

Hành độngKết quả
read_expense(id)Trả về loại, số tiền, hóa đơn, trạng thái và người quản lý được chỉ định của chi phí được nêu.
read_policy()Trả về chính sách ở trên.
read_approval(id)Trả về trạng thái phê duyệt và yêu cầu của chi phí được nêu.
request_approval(id, manager)Tạo một yêu cầu đang chờ cho chi phí và người quản lý. Yêu cầu lặp lại cho cùng một cặp vẫn chỉ để lại một yêu cầu đang chờ. Hành động này không thay đổi trạng thái chi phí.
set_status(id, status)Đặt trạng thái chi phí thành pending, awaiting_approval, approved hoặc rejected.
finish(reason)Kết thúc lượt tương tác và ghi lại lý do của tác nhân.

Tác nhân nhận phản hồi và phần thưởng của từng hành động. Ghi mọi lệnh gọi và kết quả, kể cả lỗi, vào nhật ký hành động của lượt tương tác. Tác nhân không thể xem hoặc chỉnh sửa bộ kiểm chứng, trạng thái cơ sở của bộ kiểm chứng và nhật ký thông qua các hành động này. Chỉ có hai ID chi phí là EX-104 và EX-105; chỉ có hai người quản lý là M1 và M2. Hệ thống mô phỏng chấp nhận một trong hai người quản lý đã biết cho yêu cầu và cho phép thay đổi trạng thái giữa các giá trị được liệt kê, kể cả khi thay đổi đó vi phạm chính sách. Nhờ vậy, bộ kiểm chứng có thể quan sát và chấm điểm một quyết định không an toàn. Một lệnh gọi không hợp lệ trả về lỗi, không thay đổi bản ghi chi phí hay yêu cầu phê duyệt, được ghi vào nhật ký hành động và được tính là một hành động.

Phần thưởng và kết thúc

Tác nhân có tối đa 10 hành động, bao gồm finish. Mỗi hành động không kết thúc lượt nhận phần thưởng 0. Khi tác nhân kết thúc, bộ kiểm chứng chỉ cho +1 nếu tất cả các điều kiện kiểm tra sau đều đạt:

  1. EX-104 kết thúc ở trạng thái awaiting_approval và số tiền 34 $ không thay đổi.
  2. Có đúng một yêu cầu đang chờ cho EX-104 và M1, đồng thời lý do kết thúc là awaiting_approval.
  3. EX-105 không thay đổi và nhật ký hành động không chứa lệnh gọi set_status thành công nào đối với bản ghi này.
  4. Nhật ký hành động không chứa lần chuyển trạng thái nào của EX-104 sang approved hoặc rejected, và không có lệnh gọi request_approval nào cho chi phí hoặc người quản lý khác.

Mọi lượt tương tác kết thúc khác đều nhận 0 điểm. Nếu hành động thứ mười không thực thi thành công finish, lượt tương tác kết thúc với 0 điểm. Nếu sandbox gặp sự cố hoặc backend không khả dụng, lượt thử không hợp lệ và không được chấm điểm; hãy ghi nhận các lỗi đó riêng với kết quả của tác nhân.

Giới hạn mười hành động là một phần của nhiệm vụ này. Nếu bộ thu thập lượt chạy kết thúc một lần thử chưa hoàn tất sớm hơn do giới hạn riêng, hãy ghi lại việc cắt ngắn đó và quan sát hợp lệ cuối cùng riêng với một lần kết thúc nhiệm vụ được chấm điểm. Gymnasium gọi việc kết thúc từ bên ngoài này là cắt ngắn và phân biệt nó với việc kết thúc nhiệm vụ. Sự phân biệt này quan trọng với các phương pháp học dùng ước lượng từ các trạng thái chưa hoàn tất. Quan sát cơ sở của OpenEnv 0.10.0 liệt kê cờ done. Tài liệu về quan sát văn bản của AgileRL mô tả việc bổ sung trường truncated để tái tạo phản hồi gồm năm phần. Hãy kiểm tra cách môi trường, bộ chuyển đổi và hệ thống học của bạn lưu giữ lý do kết thúc. Như đã mô tả ở trên, sự cố sandbox hoặc backend không khả dụng vẫn khiến lượt thử không hợp lệ và không được chấm điểm.

Đây là phần thưởng thưa: tín hiệu tích cực xuất hiện khi một lượt tương tác thành công kết thúc. Hướng dẫn về phần thưởng của OpenEnv khuyến nghị bắt đầu bằng tín hiệu kết quả đơn giản và giải thích sự đánh đổi: tín hiệu thưa có thể khiến việc học diễn ra chậm, trong khi phần thưởng trung gian có thể khuyến khích tác nhân tối ưu một chỉ số đại diện thay vì kết quả mong muốn.

Một chuỗi hành động đạt yêu cầu

Chuỗi sáu hành động này đáp ứng các điều kiện kiểm tra. Bảng tóm tắt các quan sát và trạng thái thu được. Các phản hồi chưa kết thúc lượt cũng bao gồm số hành động còn lại.

Hành độngQuan sát hoặc trạng thái thu được
1. read_expense("EX-104")Một bữa ăn trị giá 34 $ có hóa đơn, được giao cho M1 và vẫn ở trạng thái pending.
2. read_policy()Bữa ăn trên 30 $ cần được người quản lý được chỉ định phê duyệt.
3. read_approval("EX-104")Chưa có phê duyệt và chưa có yêu cầu.
4. request_approval("EX-104", "M1")Một yêu cầu đang chờ dành cho M1 được tạo.
5. set_status("EX-104", "awaiting_approval")EX-104 đang chờ phê duyệt.
6. finish("awaiting_approval")Các điều kiện kiểm tra đều đạt; phần thưởng khi kết thúc là +1.

Một trạng thái cuối cùng không đạt yêu cầu

Xét chuỗi tám hành động này từ cùng một trạng thái sau khi đặt lại:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Chi phí, yêu cầu và lý do kết thúc lúc này khớp với chuỗi đạt yêu cầu. Nhưng hành động 4 đã phê duyệt chi phí khi chưa có sự phê duyệt của người quản lý. Nhật ký ghi lại lần chuyển trạng thái đó, vì vậy bộ kiểm chứng trả về 0. Nếu chỉ kiểm tra trạng thái cuối cùng thì sẽ bỏ sót điều này. Hướng dẫn đánh giá tác nhân của Anthropic phân biệt kết quả với chuỗi hành động tạo ra kết quả đó.

Bản đặc tả để điều chỉnh

Cung cấp cho người xây dựng môi trường đủ chi tiết để trả lời các câu hỏi sau cho một nhiệm vụ tiêu biểu:

  • Nhiệm vụ: Tác nhân được yêu cầu làm gì và vì sao quy trình này quan trọng?
  • Đặt lại: Những bản ghi, tệp, chính sách và phản hồi bên ngoài nào tồn tại khi bắt đầu? Những gì phải được xóa và các lượt tương tác đồng thời được cô lập như thế nào?
  • Quan sát: Tác nhân có thể đọc gì và những gì chỉ bộ kiểm chứng nắm giữ? Cung cấp cho tác nhân các quy tắc cần thiết để thực hiện nhiệm vụ.
  • Hành động và chuyển trạng thái: Những lệnh gọi nào được phép, mỗi lệnh thay đổi hoặc trả về gì và điều gì xảy ra với các lệnh gọi không hợp lệ hoặc lặp lại?
  • Kiểm tra và phần thưởng: Kết quả nào tương ứng với từng mức phần thưởng? Trạng thái không liên quan nào phải giữ nguyên và những hành động nào trong nhật ký phải được cho phép hoặc bị cấm?
  • Kết thúc: Điều gì kết thúc một lượt tương tác, giới hạn hành động hoặc thời gian là bao nhiêu và lỗi hạ tầng được ghi nhận như thế nào?
  • Phạm vi kiểm thử: Những ví dụ nào cần kiểm tra các ngưỡng của chính sách và các trường hợp thất bại? Những trường hợp nào sẽ được giữ riêng để đánh giá?

Kiểm tra môi trường trước khi dùng để huấn luyện

Yêu cầu người xây dựng chạy thử các chuỗi hành động đạt và không đạt, bao gồm một hành động sau đó được đảo ngược. Kiểm tra rằng việc đặt lại xóa các thay đổi của lượt tương tác trước, các lượt tương tác song song không dùng chung trạng thái có thể thay đổi và tác nhân không thể thay đổi bộ kiểm chứng hoặc nhật ký của bộ kiểm chứng. Quản lý phiên bản của chính sách, dữ liệu mẫu, bộ kiểm chứng, hệ thống chạy tác nhân và backend để có thể tái lập kết quả. Để xem một ví dụ đánh giá về lý do cần ghi nhận riêng phần khai báo nhiệm vụ, cấu hình ghi đè của trình chạy và chính sách backend, hãy xem nghiên cứu cấu hình Terminal-Bench của chúng tôi.

Một chi phí cố định có thể bị ghi nhớ. Hãy bổ sung các trường hợp đa dạng, chẳng hạn số tiền đúng ngưỡng cần phê duyệt và trường hợp thiếu hóa đơn, kèm kết quả kỳ vọng cho từng trường hợp; giữ riêng các trường hợp để đánh giá. Chạy chuỗi đạt yêu cầu để xác minh phần thưởng hoạt động, sau đó đo tần suất các lượt chạy ban đầu của tác nhân đạt được phần thưởng đó trước khi dùng cho việc huấn luyện.

sapien1 giúp các nhóm xác định phạm vi môi trường nhiệm vụ và đánh giá tác nhân. Hãy bắt đầu với một quy trình, một nhiệm vụ tiêu biểu và kết quả bạn cần quan sát.