Nghiên cứu
Bước lọc tệp tham chiếu thay đổi cơ cấu tác vụ công khai của GDPval
Điểm chuẩn dễ diễn giải hơn khi bạn biết những tác vụ nào có thể được đưa vào. Trong bảng tác vụ gold công khai của GDPval, mỗi nghề trong số 44 nghề ban đầu có năm tác vụ. Nhưng một phép so sánh yêu cầu có tệp tham chiếu của chuyên gia được liệt kê không thể sử dụng mọi hàng trong bảng theo cùng một cách: 35 trong số 220 hàng có danh sách deliverable_files trống.
Tổng số đó đã được ghi nhận trong bản triển khai GDPval của gbench. Chúng tôi đếm cách các danh sách trống này phân bố theo ngành và nghề trong cùng bản chụp GDPval được ghim. Cả 44 nghề vẫn có ít nhất một hàng có tệp được liệt kê. Nhưng cơ cấu còn lại không phân bố đồng đều như bảng ban đầu.
Tác vụ nào có liệt kê tệp tham chiếu do chuyên gia chuẩn bị?
Các số liệu này chỉ xét liệu bảng có liệt kê ít nhất một đường dẫn đến sản phẩm bàn giao của chuyên gia hay không. Đường dẫn được liệt kê không chứng minh rằng tệp có thể truy cập hoặc hiển thị được. Danh sách trống không xác định được liệu có tài liệu tham chiếu ở nơi khác ngoài bảng này hay không.
| Ngành | Số hàng trong bảng gold công khai | Có sản phẩm bàn giao được liệt kê | Danh sách trống |
|---|---|---|---|
| Tài chính và bảo hiểm | 25 | 17 | 8 |
| Chính phủ | 25 | 22 | 3 |
| Y tế và trợ giúp xã hội | 25 | 22 | 3 |
| Thông tin | 25 | 14 | 11 |
| Sản xuất | 25 | 25 | 0 |
| Dịch vụ chuyên môn, khoa học và kỹ thuật | 25 | 24 | 1 |
| Bất động sản và cho thuê | 25 | 20 | 5 |
| Bán lẻ | 20 | 16 | 4 |
| Bán buôn | 25 | 25 | 0 |
| Tổng cộng | 220 | 185 | 35 |
Các thanh thể hiện sự hiện diện trong danh sách, không phải khả năng truy cập hoặc hiển thị tệp đã được xác minh.
Bảng có 44 nhóm nghề theo ngành, mỗi nhóm gồm năm tác vụ. Trong số đó, 22 nhóm giữ lại cả năm hàng sau bước lọc này và 22 nhóm giữ lại từ hai đến bốn hàng. Mọi nghề vẫn hiện diện, nhưng điều đó không còn đồng nghĩa với việc mỗi nghề có cùng số tác vụ.
Sự chênh lệch giữa các ngành hữu ích khi đọc số liệu tổng hợp. Ngành Thông tin và Sản xuất mỗi ngành chiếm 25 trong số 220 hàng ban đầu, tương đương 11,4%. Trong một phép tổng hợp giả định gán trọng số bằng nhau cho từng tác vụ trên đúng 185 hàng có mục trong danh sách, Thông tin sẽ chiếm 14/185, hay 7,6%, và Sản xuất chiếm 25/185, hay 13,5%. Đó là tỷ trọng tác vụ, không phải điểm của mô hình hay ước tính giá trị của các nghề khác nhau.
Hệ thống chấm điểm có đọc được các tệp tham chiếu không?
Phép tính 185 hàng không phải mẫu số chấm điểm cuối cùng của gbench. Tài liệu của gbench mô tả thêm bốn tác vụ có sản phẩm bàn giao được liệt kê nhưng không thể chuyển thành văn bản, còn lại 181 tác vụ có thể chuyển tham chiếu thành văn bản tại bản chụp đó. Chúng tôi không tự chuyển đổi các tệp đó hay chạy gbench.
Ngay cả khi không biết bốn tác vụ đó thuộc ngành nào, các số liệu vẫn cho thấy giới hạn hữu ích của tập tác vụ có thể chuyển tham chiếu thành văn bản được ghi nhận. Nếu đó là bốn hàng khác nhau trong số 185 hàng có mục trong danh sách, thì còn lại ít nhất 21 hàng thuộc ngành Sản xuất và nhiều nhất 14 hàng thuộc ngành Thông tin. Khi gán trọng số bằng nhau cho mỗi tác vụ, các giới hạn đó lần lượt là 21/181 (11,6%) và 14/181 (7,7%). Một lượt chạy thực tế có thể có mẫu số chấm điểm khác vì lỗi tạo đầu ra, lỗi của bộ chấm và số lượt thử cho mỗi tác vụ cũng ảnh hưởng đến kết quả. Các số liệu này không mô tả kết quả gốc do con người chấm của OpenAI.
Các phương pháp chấm điểm khác có yêu cầu khác. Trong chế độ dùng rubric của NeMo Gym được ghi nhận tại commit 5d6429f, một LLM làm bộ chấm đánh giá sản phẩm bàn giao của ứng viên dựa trên rubric của tác vụ. Mã chuẩn bị không sao chép danh sách deliverable_files của đầu ra chuyên gia, còn bộ xác minh rubric báo missing_rubric nếu cả hai trường rubric đều trống. Mọi tệp đầu vào của tác vụ được liệt kê đều phải được đưa vào môi trường, đồng thời vẫn cần đầu ra của ứng viên và bộ chấm; lệnh chuẩn bị không ghim phiên bản tập dữ liệu. Chúng tôi không chạy NeMo Gym hay đo độ bao phủ của nó. Điểm rubric của NeMo Gym và tỷ lệ thắng hoặc hòa của gbench là hai thước đo khác nhau.
Bộ chấm có thể thấy gì
Tính sẵn có của tham chiếu chỉ là một phần của phép so sánh. Tài liệu gbench đã ghi nhận rằng 32 trong số 220 rubric vượt giới hạn mặc định 8.000 ký tự cho rubric. Bộ định dạng giữ nguyên thứ tự và toàn bộ từng tiêu chí cho đến khi tiêu chí tiếp theo vượt giới hạn, rồi thêm dấu báo cắt bớt; nếu riêng tiêu chí đầu tiên đã vượt giới hạn, bộ định dạng chỉ hiển thị một phần tiêu chí đó. Số ký tự không phải số token.
Chúng tôi áp dụng bộ định dạng được ghim đó cho bảng tác vụ. Trong số 185 hàng có sản phẩm bàn giao của chuyên gia được liệt kê, 26 rubric sẽ bị cắt ở giới hạn mặc định, bỏ đi tổng cộng 247 tiêu chí nguyên vẹn trên các hàng đó. Sản phẩm bàn giao được liệt kê không nhất thiết có thể chuyển thành văn bản, và việc tạo đầu ra thất bại hoặc rỗng có thể khiến bộ chấm không được gọi, nên đây không phải số lượt so sánh đã được chấm. Để minh họa, nếu chỉ thay giới hạn của bộ định dạng thành 12.000 hoặc 16.000 ký tự thì lần lượt hai hoặc không rubric nào trong số 185 rubric đó sẽ bị cắt. Chúng tôi không chạy các thiết lập đó qua hệ thống đánh giá hay bộ chấm. Số tiêu chí bị bỏ không cho biết mức độ quan trọng của chúng hoặc liệu kết luận có thay đổi hay không; giới hạn lớn hơn có thể để lại ít chỗ hơn cho phần còn lại của cửa sổ ngữ cảnh cố định. Hãy xem thông tin cắt bớt được ghi lại trong lượt chạy thực tế cùng với số lượng tham chiếu và số lượt chấm điểm.
Bước lọc rubric tái lập các số liệu này bằng DuckDB 1.4.4. Bước này tạm tải xuống toàn bộ bảng tác vụ được ghim và xử lý văn bản rubric trong bộ nhớ; đầu ra chỉ giữ lại số liệu tổng hợp, không giữ ID tác vụ hay văn bản rubric. Bảng tạm được xóa sau khi chạy bình thường. Bước này chỉ thực thi bộ định dạng của gbench đã được kiểm tra và xác minh bằng mã băm trong một không gian tên bị hạn chế, vốn không phải sandbox bảo mật. Tệp lưu trữ bao gồm giấy phép và thông báo của nguồn gốc. Sau khi thiết lập DuckDB như bên dưới, dùng Python 3.11 để tạo môi trường, tải tệp lưu trữ và chạy trên macOS hoặc Linux:
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.jsonGhi lại quá trình từ tác vụ đến điểm số
Khi thiết lập hoặc so sánh một đánh giá, hãy ghi lại phiên bản tập dữ liệu, loại tham chiếu bắt buộc và từng quy tắc xác định điều kiện hợp lệ. Báo cáo số lượng theo nhóm ở bảng ban đầu, sau khi kiểm tra tham chiếu và sau khi chấm điểm. Ghi riêng các lý do: không có tham chiếu được liệt kê, tham chiếu không đọc được, tạo đầu ra thất bại và kết luận của bộ chấm không sử dụng được. Nếu không, một số liệu tổng hợp duy nhất có thể che khuất những tác vụ không còn đóng góp vào kết quả.
Cũng cần nêu cách gán trọng số cho các tác vụ và lượt thử còn lại. Khi số lượng khác nhau, việc gán trọng số bằng nhau cho mỗi tác vụ, mỗi nghề hay mỗi lượt thử trả lời những câu hỏi khác nhau. Không cách nào tự bù đắp được bằng chứng còn thiếu; cách tổng hợp phù hợp phụ thuộc vào điều mà phép đánh giá muốn đo lường.
Với bộ tác vụ do bạn tự thiết kế, hướng dẫn đánh giá tác nhân trình bày cách xác định các kiểm tra có thể quan sát và diễn giải các lượt thử lặp lại.
Ghi lại phiên bản chính xác của từng tệp đầu vào
Một bảng tác vụ được ghim không nhất thiết ghim mọi tệp mà hệ thống đánh giá tải xuống. Trong bảng GDPval công khai trước đó tại phiên bản 4bf6426, 122 trong số 220 hàng tác vụ liệt kê tệp đầu vào. Cả 262 URL đầu vào được liệt kê đều trỏ đến nhánh main luôn thay đổi của kho lưu trữ. Siêu dữ liệu của nhà cung cấp cho biết 62 đường dẫn trong số đó có kích thước và blob ID khác tại phiên bản 11e7900; 62 đường dẫn này xuất hiện trong 20 hàng của bảng trước đó. Đây là đầu vào tác vụ, khác với đầu ra tham chiếu của chuyên gia trong deliverable_files được đếm ở trên.
Điều này không cho thấy một phép đánh giá cụ thể đã dùng đầu vào thay đổi, một tệp bị hỏng hay điểm số đã thay đổi. Nó cho thấy vì sao việc truy cập các URL luôn thay đổi trong một bảng đã lưu vào thời điểm sau có thể chọn một phiên bản đầu vào khác. Chúng tôi không phân tích nội dung tệp đầu vào.
Tại commit 5c092d5 của Inspect Evals, trình tải GDPval ghim bảng tác vụ vào phiên bản a3848a2. Bảng đó giống hệt bảng trước đó ở cấp byte và siêu dữ liệu tệp đầu vào của nhà cung cấp cũng khớp. Trình tải ánh xạ các URL ghép cặp trong bảng thành ánh xạ tệp mẫu; tài liệu của Inspect cho biết các ánh xạ đó có thể dùng URL. Vì vậy, luồng xử lý nguồn này có thể mang theo các URL luôn thay đổi cùng một bảng cố định. Chúng tôi không kiểm thử việc tải xuống hoặc lưu bộ nhớ đệm tệp của Inspect, cũng không xác định bất kỳ lượt chạy nào đã dùng gì.
Thay vào đó, hệ thống đánh giá có thể phân giải các đường dẫn tương đối với tập dữ liệu tại cùng phiên bản bất biến với bảng của nó. Bản triển khai gbench được kiểm tra tại đây chỉ định rõ phiên bản được ghim khi tải tệp đính kèm. Hãy ghi lại phiên bản và, khi khả thi, xác minh các tệp thực tế đã sử dụng. Tài liệu tải xuống của Hugging Face giải thích cách phân giải một phiên bản luôn thay đổi thành một commit để tải xuống nhất quán.
Tập lệnh phân tích URL đầu vào tái lập các số liệu bằng DuckDB 1.4.4. Tập lệnh tạm tải xuống bảng tác vụ trước đó, xóa bảng sau khi chạy bình thường và không giữ lại văn bản tác vụ, ID riêng lẻ, đường dẫn đầu vào hay nội dung đầu vào trong kết quả. Một cờ tùy chọn kiểm tra tiêu đề phản hồi của một đường dẫn và phiên bản main hiện tại; kết quả có thể thay đổi khi main thay đổi. Với kiểm tra đó, tập lệnh chỉ gửi yêu cầu HEAD, kể cả qua các lượt chuyển hướng, và không quan sát được những kết quả không khả dụng. Các kiểm tra bằng thư viện chuẩn Python so sánh bảng và siêu dữ liệu được Inspect ghim và kiểm tra mã nguồn trình tải được ghim mà không chạy mã đó. Kiểm tra mã băm của bảng đọc toàn bộ bảng vào bộ nhớ nhưng không phân tích cú pháp hay giữ lại nội dung tác vụ. Các tập lệnh không yêu cầu nội dung tệp đầu vào.
Sau khi thiết lập DuckDB như bên dưới, chạy các kiểm tra trên macOS hoặc Linux bằng:
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.pyCách chúng tôi đếm
Để khảo sát tính sẵn có của tham chiếu, chúng tôi kiểm tra bảng Parquet train tại phiên bản GDPval 11e7900cdcac61bc4daf59e65feb238acda98fbf, xác minh 220 ID tác vụ riêng biệt và chỉ nhóm theo ngành, nghề và độ dài của từng danh sách deliverable_files. Tập lệnh phân tích kiểm tra mã băm nguồn và tái lập các số liệu bằng DuckDB 1.4.4. Tập lệnh tạm tải xuống toàn bộ bảng và xóa bảng sau khi chạy bình thường; đầu ra không giữ lại prompt, rubric, ID tác vụ riêng lẻ, đường dẫn sản phẩm bàn giao hay sản phẩm bàn giao. Không có mô hình, benchmark hay bộ chuyển đổi tham chiếu nào được chạy.
Để tái lập trên máy với Python 3.9 trở lên trên macOS hoặc Linux, hãy bảo đảm python3 chọn đúng phiên bản đó:
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1 cung cấp các tập lệnh này để tải xuống và chạy trên máy; không có giấy phép bổ sung nào cho phép sửa đổi hoặc phân phối lại được nêu ra. Điều khoản của tập dữ liệu nguồn được quy định riêng.
OpenAI mô tả tập con gold gồm 220 tác vụ là mã nguồn mở. Thẻ tập dữ liệu được ghim có một chuỗi canary của benchmark và không có trường giấy phép; hãy kiểm tra các điều khoản áp dụng cho mục đích sử dụng của bạn thay vì suy luận từ nhãn trên thẻ hoặc từ số lượng này. Tên ngành, tên nghề và benchmark vẫn được ghi nhận theo nguồn gốc.