# Có thể so sánh hai điểm đánh giá chuẩn không?

Hãy bắt đầu từ quyết định mà điểm số cần hỗ trợ. Để trích dẫn một kết quả trước đây, xác định đúng bảng đã công bố. Để chọn giữa hai tác nhân, hãy kiểm tra xem cả hai có xử lý cùng các trường hợp theo cùng quy tắc hay không, rồi so sánh dựa trên kết quả của những trường hợp đó. Bốn ví dụ công khai cho thấy vì sao cần các bước kiểm tra này.

## Tìm bảng mà trích dẫn đề cập đến

LiveBench dùng cùng nhãn bảng xếp hạng `2025-05-30` cho hai bảng nguồn khác nhau. Hai bảng được cố định ở các bản sửa đổi cụ thể và có 30 nhãn mô hình chung. Với 28 nhãn trong số đó, ít nhất một trong hai điểm của hạng mục Coding riêng biệt cao hơn ở bảng công bố sau. Nhóm duy trì cho biết họ chạy lại Agentic Coding sau khi thay đổi khung đánh giá và giới hạn số bước. Các bảng nguồn không cho biết nguyên nhân khiến điểm ở hạng mục Coding riêng biệt thay đổi. Lưu bản sửa đổi của bảng hoặc mã băm của tệp cùng con số trích dẫn, và ghi nhãn ngày của bài thử vào trường riêng. [Bảng LiveBench trước](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Bảng LiveBench sau](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Nhật ký thay đổi của nhóm duy trì](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Ghép các trường hợp trước khi so sánh tỷ lệ thành công

Hai giới hạn tài nguyên ví dụ, mỗi giới hạn chọn 44 trong số 66 nhiệm vụ của Terminal-Bench v4.1.0. Chỉ 36 ID nhiệm vụ xuất hiện trong cả hai tập. Một giới hạn là 4 CPU, bộ nhớ 8.192 MB và dung lượng lưu trữ 10.240 MB. Giới hạn còn lại là 2 CPU, bộ nhớ 16.384 MB và dung lượng lưu trữ 20.480 MB. Bộ lọc áp dụng từng giới hạn cho tài nguyên được khai báo của cả môi trường thực hiện nhiệm vụ và môi trường của bộ xác minh. Các kết quả sau đây là giả định. [Cấu hình và bộ lọc tài nguyên Terminal-Bench](https://sapien1.com/vi/research/terminal-bench-resource-settings)

Giả sử tác nhân A giải được 32 trường hợp trong tập thứ nhất và tác nhân B giải được 34 trong tập thứ hai. Mỗi tập có tám trường hợp nằm ngoài phần chung. Vì vậy, trong 36 trường hợp chung, A có thể đã giải được từ 24 đến 32, còn B từ 26 đến 34. Nếu A giải được 32 trường hợp chung và B giải được 26, A dẫn trước sáu trường hợp trong phần chung. Nếu A giải được 24 còn B giải được 34, B dẫn trước mười trường hợp. Cả hai kịch bản đều phù hợp với tổng số đã báo cáo.

| Kết quả giả định | Số trường hợp giải được trong tập riêng gồm 44 trường hợp | Số trường hợp có thể đã giải được trong 36 trường hợp chung |
| --- | ---: | ---: |
| Tác nhân A | 32 | 24–32 |
| Tác nhân B | 34 | 26–34 |

Trong ví dụ này, tổng số không xác định được thứ hạng trên các trường hợp chung. Hãy yêu cầu kết quả theo từng trường hợp hoặc chấm điểm cả hai tác nhân trên cùng danh sách đã xác minh. Nếu các lần chạy dùng ngân sách tài nguyên khác nhau, hãy trình bày kết quả như một phép so sánh giữa các cấu hình đó. Để tách riêng ảnh hưởng của việc thay tác nhân, hãy giữ nguyên ngân sách và các điều kiện chạy khác. Trước khi xếp hạng, xác định mẫu số chung và cách tính các lượt chạy thiếu, thất bại hoặc chưa chấm điểm. Báo cáo mức độ bao phủ thu được.

## Kiểm tra xem bộ chấm điểm có dùng cùng dữ liệu đầu vào hay không

Các bản chụp kiểm thử SWE-bench Verified tháng 2 và tháng 8 năm 2026 chứa cùng 500 ID trường hợp. Hai commit tháng 8 đã xóa một mục kiểm thử hồi quy dự kiến của một trường hợp Astropy và năm mục của một trường hợp Django. Các bản sửa đổi cho thấy thay đổi trong danh sách đã lưu. Để đo ảnh hưởng lên điểm số, chấm cùng các bản vá ứng viên bằng cả hai bản sửa đổi, giữ nguyên các thiết lập khác. Khi so sánh tác nhân, dùng cùng bản sửa đổi của tập dữ liệu, bộ chấm điểm, môi trường thực thi và tùy chọn đánh giá. [Bản chụp kiểm thử tháng 2](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Bản chụp kiểm thử tháng 8](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Thay đổi SWE-bench thứ nhất](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Thay đổi SWE-bench thứ hai](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Mã nguồn bộ chấm điểm](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Xác minh tệp kết quả theo từng trường hợp trước khi dùng

Every Eval Ever cung cấp bản ghi tổng hợp và chỉ mục theo bộ sưu tập để tìm kết quả của từng mẫu. Ở một bản sửa đổi cố định của kho dữ liệu, hai nguồn khai báo giá trị SHA-256 khác nhau cho các tệp mẫu liên quan trong toàn bộ 14 mục của chỉ mục `MMLU-Pro` và toàn bộ 11 mục của chỉ mục `gsm8k`. Khi tải tệp mẫu đầu tiên được liệt kê trong mỗi bộ sưu tập, mã băm khớp với giá trị trong chỉ mục. Mã kiểm tra trong bản ghi tổng hợp lại khác. Bước kiểm tra này xác định sai lệch ở cấp độ tệp. Nó chưa đánh giá độ chính xác của điểm số hoặc nguyên nhân gây sai lệch. [Chỉ mục MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Chỉ mục GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Ví dụ bản ghi tổng hợp GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Giữ vị trí tệp không thay đổi và mã băm đã xác minh cùng với các kết quả ghép cặp mà bạn sử dụng. Nếu thông tin bên xuất bản đưa ra mâu thuẫn, hãy giải quyết sai lệch trước khi dùng tệp làm bằng chứng cho điểm số.

## Ghi lại thông tin của phép so sánh

| Mục | Thông tin cần lưu |
| --- | --- |
| Kết quả đã công bố | URL nguồn, nhãn bài thử, bản sửa đổi hoặc mã băm của bảng, thước đo và đơn vị |
| Trường hợp và lượt thử | Bản sửa đổi và phần chia của tập dữ liệu, ID chính xác của trường hợp và lượt thử, mẫu số chấm điểm và quy tắc loại trừ |
| Điều kiện thực thi | Bản sửa đổi của tác nhân và mô hình, công cụ, bộ chấm điểm và cấu hình, ngân sách, ID môi trường và mã băm ảnh môi trường nếu có |
| Bằng chứng | Đầu ra hoặc kết quả theo từng trường hợp, vị trí bất biến của tệp và mã băm đã xác minh |

Chỉ kết luận về hiệu năng trong phạm vi mà hồ sơ hỗ trợ. Khi trích dẫn một kết quả trước đây, chỉ rõ nguồn chính xác. Khi so sánh các tác nhân, hãy báo cáo kết quả ghép cặp theo từng trường hợp và mức độ bao phủ trong các điều kiện đã nêu.
