Đánh giá tập dữ liệu AI cho nhiệm vụ cần thực hiện
Ngôn ngữ: Tiếng Việt
Chia sẻ mục đích sử dụng dự kiến, một lược đồ và mô tả về mẫu. Chúng tôi có thể xác định phạm vi đánh giá độ bao phủ, chất lượng và quyền sử dụng, cùng các kết luận giải thích bằng chứng hỗ trợ những mục đích sử dụng nào. Mô tả dự án của bạn cho sapien1
Đánh giá tập dữ liệu giúp xác định liệu dữ liệu hiện có có đủ căn cứ cho một quyết định cụ thể về huấn luyện, truy xuất hay đánh giá hay không. Hãy bắt đầu từ nhiệm vụ dự kiến, sau đó xem xét các ví dụ, ngữ cảnh và nhãn của chúng, độ bao phủ và cách chia dữ liệu.
Chẳng hạn, một tập kiểm thử có vẻ đầy đủ nhưng vẫn có thể chứa những trường hợp mô hình đã gặp khi huấn luyện. Vấn đề này quan trọng khi mục tiêu của bài kiểm thử là ước tính hiệu năng trên các trường hợp mới. Một đợt rà soát hữu ích nêu rõ những gì đã được kiểm tra, những gì cần sửa và bằng chứng còn lại cho phép kết luận đến đâu.
Bắt đầu từ quyết định cần đưa ra
Ghi rõ bạn muốn dùng tập dữ liệu để làm gì. Cùng một nhóm bản ghi có thể hữu ích cho mục đích này và chưa đủ cho mục đích khác.
| Mục đích sử dụng | Câu hỏi cần trả lời |
|---|---|
| Huấn luyện hoặc tinh chỉnh | Các ví dụ và nhãn có thể hiện hành vi mà mô hình cần học không? |
| Đánh giá mô hình hoặc tác nhân | Có thể kiểm tra kết quả kỳ vọng không, và các trường hợp kiểm thử có độc lập với dữ liệu dùng để huấn luyện hoặc tinh chỉnh hệ thống không? |
| Truy xuất | Nội dung có cập nhật, có thể diễn giải và có sẵn khi hệ thống cần không? |
Ghi lại phiên bản tập dữ liệu, nguồn, khoảng thời gian, các trường dữ liệu và những hạn chế đã biết. Thẻ tập dữ liệu có thể mô tả nội dung, ngữ cảnh và siêu dữ liệu. Hãy đối chiếu thẻ với các tệp thực tế và các điều khoản sử dụng có liên quan.
Một ví dụ cụ thể về kiểm tra tài liệu là kho lerobot/svla_so101_pickplace ở bản sửa đổi f641879, được kiểm tra ngày 17 tháng 11 năm 2026. Thẻ tập dữ liệu có ví dụ siêu dữ liệu ghi codebase_version là v2.1 và đường dẫn tệp theo từng lượt thu. Siêu dữ liệu thực tế ở cùng bản sửa đổi ghi codebase_version là v3.0 và dùng đường dẫn tệp theo khối. Thư mục dữ liệu có một tệp đặt tên theo mẫu đó. Hãy kiểm tra siêu dữ liệu và các tệp đúng theo bản sửa đổi của kho mà bạn định dùng trước khi dựa vào đường dẫn sao chép từ thẻ. Đối chiếu này chưa cho biết chất lượng ví dụ hay mức độ phù hợp để huấn luyện.
Trước khi hợp nhất các bản ghi rô-bốt, hãy kiểm tra ý nghĩa của các kênh hành động và trạng thái, cũng như khoảng thời gian tương ứng với một số bước cố định. FineART và một tập dữ liệu ALOHA mô phỏng đều khai báo aloha và các vectơ hành động, trạng thái kiểu float32 gồm 14 phần tử. FineART khai báo 30 khung hình mỗi giây, còn tập mô phỏng khai báo 50. Nếu mỗi bước tiến thêm một khoảng giữa hai khung hình ở tốc độ đã khai báo, 15 bước tương ứng với 0,5 giây ở một tập và 0,3 giây ở tập kia. Hãy kiểm tra thời gian thực tế trong bản ghi và cách quy trình xử lý của bạn chọn bước trước khi coi các cửa sổ dữ liệu từ hai nguồn là tương đương. Siêu dữ liệu FineART · Siêu dữ liệu ALOHA mô phỏng
Kiểm tra cách chia dữ liệu và ngữ cảnh qua một ví dụ
Giả sử một nhóm muốn dùng tập dữ liệu hỗ trợ khách hàng đã gán nhãn để kiểm tra trước khi phát hành một tác nhân xử lý các cuộc hội thoại mới. Tập dữ liệu có 120 ví dụ, với 90 ví dụ trong tập huấn luyện và 30 trong tập kiểm thử đề xuất. Mỗi ví dụ cần có ID trường hợp, ID cuộc hội thoại, phiên bản chính sách áp dụng và hành động tiếp theo kỳ vọng.
Đây là ví dụ hư cấu. Nhóm kiểm tra 30 trường hợp kiểm thử và đối chiếu với tập huấn luyện. Sau đây là kết quả.
| Nội dung kiểm tra | Phát hiện | Ý nghĩa với quyết định này |
|---|---|---|
| Trường hợp lặp lại | Xác nhận bốn trường hợp kiểm thử là bản sao của các trường hợp trong tập huấn luyện. | Bốn trường hợp này đã có trong dữ liệu huấn luyện. |
| Cuộc hội thoại trùng nhau | Ba trường hợp kiểm thử khác có ID trường hợp khác nhưng thuộc các cuộc hội thoại có trong tập huấn luyện. | Đây là các trường hợp trùng thêm giữa hai tập trong bài kiểm thử dành cho hội thoại mới. |
| Ngữ cảnh chính sách | Hai trong số 23 trường hợp kiểm thử còn lại thiếu liên kết đến phiên bản chính sách. | Dựa vào ngữ cảnh được ghi lại, người rà soát chưa thể xác minh hành động kỳ vọng theo chính sách có liên quan. |
Hai bước kiểm tra đầu tiên đánh dấu bảy trường hợp kiểm thử riêng biệt, còn 23 trường hợp không trùng theo các tiêu chí đó. Hai trong số 23 trường hợp thiếu ngữ cảnh chính sách, nên còn 21 trường hợp kiểm thử chưa bị đánh dấu qua các bước này. Con số này chưa cho biết nhãn có đúng không, độ bao phủ có đủ không, hay 21 trường hợp có đủ để quyết định phát hành không.
Nhóm nên tạm hoãn việc dùng tập hiện tại để kiểm tra độc lập các cuộc hội thoại mới trước khi phát hành. Tách riêng các trường hợp đã đánh dấu để rà soát, rồi khôi phục ngữ cảnh còn thiếu hoặc xử lý vấn đề liên quan. Kiểm tra mô hình và nhóm phát triển đã từng tiếp xúc với những trường hợp nào. Sắp xếp lại tệp không xóa được việc sử dụng trước đó. Khi chia lại, hãy giữ toàn bộ dữ liệu của mỗi cuộc hội thoại trong cùng một tập và kiểm tra các trường hợp kiểm thử so với dữ liệu đã ghi nhận cho huấn luyện và lựa chọn mô hình. Nếu không thể xác minh nguồn gốc dữ liệu huấn luyện trước đây, hãy ghi lại hạn chế này. Nếu kết quả hiện có đã ảnh hưởng đến việc tinh chỉnh, hãy dành riêng các trường hợp mới chưa từng được dùng trong những quyết định đó. Huấn luyện lại trên dữ liệu đã tách riêng nếu cần.
Hướng dẫn của Google về chia tập dữ liệu giải thích vì sao ví dụ trùng lặp trong tập huấn luyện và kiểm thử có thể làm kết quả trông tốt hơn hiệu năng trên ví dụ mới. Hướng dẫn của scikit-learn về kiểm định chéo theo nhóm nêu cách giữ các quan sát liên quan trong cùng một nhóm khi mục tiêu là đánh giá hiệu năng trên nhóm chưa từng xuất hiện. Nhóm phù hợp tùy vào câu hỏi, chẳng hạn một cuộc hội thoại, khách hàng hay tài liệu. Nếu bài kiểm thử chú thích ảnh cần dùng ảnh không có trong tập huấn luyện, hãy giữ toàn bộ chú thích của từng ảnh cùng nhau. Chia riêng từng dòng chú thích có thể đưa cùng một ảnh vào cả hai tập. Với bài kiểm thử hướng đến dữ liệu tương lai, hãy dùng cách chia theo thời gian để dữ liệu huấn luyện không chứa quan sát sau giai đoạn kiểm thử.
Giả sử nhóm còn muốn kiểm thử các cuộc hội thoại mới sau một mốc thời gian. Trong cách chia mới, cuộc hội thoại A có bản ghi cả trước và sau mốc này. Trường hợp đầu tiên được ghi nhận của cuộc hội thoại B xuất hiện sau mốc. Một cách là loại A khỏi cả hai tập và dành B cho kiểm thử, với điều kiện bản ghi của B chưa từng dùng để huấn luyện hay lựa chọn mô hình. Giữ dữ liệu trước mốc trong tập huấn luyện và kiểm tra xem từng trường hợp trong tập kiểm thử đã từng được sử dụng chưa. Ghi lại những trường hợp bị loại và xem phần còn lại có bao phủ mục đích sử dụng đã định không. Có thể đánh giá các cuộc hội thoại đang tiếp diễn bằng một bài kiểm thử riêng theo đúng thứ tự thời gian. Nếu lịch sử không đầy đủ, có thể không xác nhận được B là hội thoại mới.
Hãy kiểm tra kết quả phân bổ thực tế của công cụ trước khi cho rằng phần tỷ lệ không chỉ định sẽ được giữ riêng. Chẳng hạn, hàm chia theo tỷ lệ của LeRobot tại bản sửa đổi 7910c20 phân bổ cả 50 lượt thu của tập giả định khi nhận train: 0.6 rồi đến test: 0.2. Tập huấn luyện có 30 lượt và tập kiểm thử có 20 lượt, không còn lượt nào chưa được phân bổ. Công cụ hoặc phiên bản khác có thể xử lý khác, và tập nhỏ có thể cần làm tròn hoặc phân bổ lại. Hãy kiểm tra thành phần thực tế của các tập. Nếu cần giữ nguyên các nhóm, hãy chọn và ghi lại danh sách lượt thu sao cho mỗi nhóm được giữ nguyên.
Ghi chú nghiên cứu về LeRobot theo dõi cách một bộ xử lý Diffusion mới có thể nhận các thống kê chuẩn hóa đã lưu và đối chiếu khoảng giá trị của chúng với các số liệu tóm tắt từ những lượt thu dùng để huấn luyện trong một cách chia giả định có tập giữ riêng. Hãy kiểm tra nguồn gốc và phạm vi của các thống kê mà bộ xử lý của bạn nạp vào.
Rà soát nhãn và độ bao phủ
Đối với dữ liệu có nhãn, hãy lấy mẫu các câu trả lời kỳ vọng rồi đối chiếu với hướng dẫn và bằng chứng dùng khi tạo chúng. Người rà soát có chuyên môn có thể tìm hiểu phần ngữ cảnh còn thiếu, nhãn thiếu nhất quán và trường hợp thật sự có nhiều cách hiểu về đáp án đúng. Ghi lại các bất đồng và cách giải quyết. Sự đồng thuận giữa những người rà soát cung cấp thông tin hữu ích. Riêng tính đúng đắn của nhãn cần được kiểm chứng dựa trên bằng chứng. Nghiên cứu về quản lý chất lượng gán nhãn xem rà soát, đo mức độ đồng thuận và phân xử bất đồng là các phần riêng của quy trình.
Nhãn lớp dạng số cần ánh xạ từ ID sang tên và định nghĩa lớp. Hãy đối chiếu định nghĩa và ID giữa các phiên bản, các tập con và ánh xạ mà mô hình yêu cầu. Ghi rõ mọi thay đổi trong ánh xạ ID và cách xử lý những lớp bị thiếu hoặc gộp. Hướng dẫn về tập dữ liệu của Ultralytics Platform lưu ý rằng gộp hay xóa lớp có thể làm dịch chuyển các ID phía sau. Vì vậy bản xuất cũ có thể không còn khớp với danh sách lớp đã cập nhật. Xác minh ánh xạ trong bản xuất và quy trình xử lý của chính bạn.
Kiểm tra xem dữ liệu có bao quát các tình huống liên quan đến mục đích sử dụng hay không, chẳng hạn yêu cầu thường gặp, ngoại lệ quan trọng, ngôn ngữ, giai đoạn hoặc các nhóm có ý nghĩa khác. Nhóm có ít ví dụ có thể cần thêm dữ liệu hoặc phân tích riêng. Số lượng ví dụ cần thiết có thể khác nhau giữa các nhóm.
Ghi lại cách chọn ví dụ để rà soát. Tập ví dụ được chọn thủ công có thể giúp tìm ra vấn đề, nhưng không nên coi tỷ lệ lỗi của nó là tỷ lệ lỗi của toàn bộ tập dữ liệu. Hướng dẫn lấy mẫu của Google mô tả cách lựa chọn mẫu có thể làm sai lệch kết luận về tổng thể lớn hơn.
Ngay cả mẫu ngẫu nhiên cũng có thể bỏ sót lỗi. Giả sử một lô hư cấu riêng có 120 bản ghi và sáu bản ghi có nhãn sai. Khi chọn ngẫu nhiên, đồng đều và không hoàn lại 20 bản ghi khác nhau, khoảng 33% số mẫu sẽ không chứa bản ghi nào trong sáu bản ghi đó. Chọn 47 bản ghi giảm khả năng bỏ sót cả sáu xuống dưới 5%, với điều kiện người rà soát phát hiện mọi nhãn sai trong các bản ghi được chọn. Ví dụ lập kế hoạch này giả định có sáu lỗi. Mẫu không có lỗi chưa cho biết có đúng sáu lỗi, cũng chưa chứng minh phần còn lại không có lỗi. Chọn cỡ mẫu dựa trên tỷ lệ lỗi và khả năng bỏ sót có ý nghĩa đối với quyết định của bạn. Ghi lại cách chọn và rà soát ví dụ. Tài liệu nhập môn về lấy mẫu của NIST giải thích việc chọn mẫu và cỡ mẫu. Nghiên cứu về chất lượng gán nhãn giải thích cách ước lượng chất lượng bằng phương pháp thống kê và lấy mẫu để quyết định chấp nhận.
So sánh điểm đọc hiểu giữa các ngôn ngữ
Quyết định cần thay đổi gì
Chuyển kết quả rà soát thành những việc nhóm có thể thực hiện.
- Sửa dữ liệu. Khôi phục ngữ cảnh còn thiếu, sửa các lỗi đã xác nhận hoặc cập nhật hướng dẫn gán nhãn, rồi kiểm tra lại các bản ghi chịu ảnh hưởng.
- Giới hạn sử dụng. Chỉ dùng tập dữ liệu cho các nhiệm vụ hoặc phân nhóm mà nó có thể hỗ trợ, đồng thời mô tả những thiếu sót đã biết.
- Tạm hoãn sử dụng. Chưa dùng tập dữ liệu để huấn luyện theo kế hoạch hoặc ra quyết định phát hành cho đến khi vấn đề quan trọng được xử lý.
- Bổ sung dữ liệu. Thu thập hoặc tìm ví dụ cho những tình huống còn thiếu, hoặc tạo một tập kiểm thử mới chưa từng dùng để huấn luyện hay tinh chỉnh.
Giữ thông tin định danh của cả phiên bản gốc và phiên bản đã sửa. Ghi lại các bước kiểm tra, phương pháp chọn mẫu, phát hiện, quyết định của người rà soát và câu hỏi còn bỏ ngỏ để nhóm khác có thể hiểu thay đổi và lý do.
Xác minh tập dữ liệu Parquet được ghi lại
Khi một bộ tệp Parquet bàn giao được ghi lại, hãy xác định thuộc tính nào tệp mới phải giữ để phục vụ nhiệm vụ của bạn. Ghi lại phiên bản tệp gốc và đã sửa, rồi thực hiện các bước kiểm tra với công cụ đọc mà nhóm sử dụng ở bước xử lý tiếp theo. Các ví dụ dưới đây dùng dữ liệu hư cấu.
- Các trường trong nguồn. Lưu lược đồ của từng tệp gốc nếu cần phân biệt giữa trường không có mặt và trường có giá trị null rõ ràng. Trong ví dụ dùng DuckDB 1.4.4, việc đổi nguồn nào thiếu trường đó tạo ra các tệp hợp nhất giống hệt nhau, dù tên nguồn vẫn được giữ. Lược đồ gốc cho thấy cả hai thay đổi. Kết hợp lược đồ trong DuckDB
- Cặp trường hợp và nhãn. Kiểm tra ID trường hợp đầy đủ và duy nhất, rồi đối chiếu với danh sách dự kiến và so sánh nhãn theo ID. Hai lần ghi lại trong ví dụ tám dòng giữ nguyên cùng một bộ siêu dữ liệu cuối tệp và số lượng của từng nhãn. Ở một lần ghi, hai nhãn được chuyển sang trường hợp khác. Ở lần kia, đổi thứ tự nguyên dòng vẫn giữ từng cặp. Bố cục tệp Parquet
- Giá trị số đã giải mã. Kiểm tra kiểu lôgic rồi so sánh các giá trị số sẽ đọc được. Trong ví dụ số thập phân, đổi hệ số tỷ lệ từ 2 thành 3 làm 12,34 thành 1,234 dù số nguyên được lưu và các byte của khối cột không đổi. Đặc tả số thập phân Parquet
- Ngày theo giờ địa phương. Khi báo cáo nhóm các sự kiện theo ngày địa phương, hãy so sánh ngày của từng sự kiện theo múi giờ đã thống nhất. Với PyArrow 26.0.1, hai sự kiện giữ nguyên thời điểm sau khi được ghi lại mà thiếu siêu dữ liệu lược đồ Arrow. Đọc theo UTC đưa cả hai về ngày 1 tháng 7. Dùng múi giờ New York đã thống nhất khôi phục cách phân ngày ban đầu, ngày 30 tháng 6 và ngày 1 tháng 7. Tùy chọn ghi của PyArrow
Dựa mỗi bước kiểm tra trên thuộc tính đã thống nhất. Nếu thứ tự có thể thay đổi, việc sắp xếp lại mà vẫn giữ nguyên các cặp sẽ vượt qua bước kiểm tra trường hợp và nhãn. Nếu hợp đồng yêu cầu xác minh sự hiện diện của trường theo từng nguồn mà lược đồ gốc không có sẵn, hãy tạm dừng bước kiểm tra đó cho đến khi lấy lại bằng chứng.
Kiểm tra dữ liệu COCO sau khi chuyển đổi
Khi chuyển đổi tập dữ liệu phát hiện đối tượng COCO, hãy so sánh ánh xạ ảnh gốc với ánh xạ trong bản xuất. Kiểm tra xem mỗi ảnh nguồn có một ID số riêng trong bản xuất hay không và các chú thích cùng dự đoán còn trỏ đến đúng ảnh hay không. Khi cấu hình dùng ánh xạ ID đã lưu, trình xuất FiftyOne được thử nghiệm chuyển 01 và 1 thành cùng một số nguyên. Bộ lập chỉ mục COCO được kiểm thử giữ dòng ảnh cuối cùng có ID đó và nhóm các chú thích theo ID này. Xử lý các ID trùng trước khi tính điểm. Trình xuất FiftyOne · Bộ lập chỉ mục COCO
Giữ ID gốc nếu có thể. Nếu phải đổi ID, hãy giữ thứ tự số tương đối và tính lại average precision (AP) trên dữ liệu gốc và dữ liệu đã chuyển đổi. Dùng cùng bản sửa đổi của trình đánh giá, cùng thiết lập và điểm dự đoán chưa làm tròn. Trong mỗi lần chạy, ánh xạ dự đoán về đúng ảnh. Thực hiện một phép kiểm tra nhỏ với hai phát hiện có cùng độ tin cậy, thuộc cùng một lớp và nằm trên hai ảnh khác nhau. Một phát hiện khớp chú thích chuẩn, còn phát hiện kia là dương tính giả. Trình đánh giá COCO được thử nghiệm sắp xếp ID và giữ thứ tự đó khi các phát hiện trên những ảnh khác nhau có cùng điểm tin cậy. Vì vậy đổi số ID có thể làm thay đổi AP dù các kết quả khớp của phát hiện vẫn giữ nguyên. Hãy xử lý mọi chênh lệch điểm trước khi so sánh hai phiên bản. Thứ tự ảnh trong COCO · Tổng hợp điểm COCO
Hướng dẫn liên quan
sapien1 giúp các nhóm đánh giá tập dữ liệu và lập kế hoạch đánh giá theo công việc mà hệ thống AI cần thực hiện. Sau khi rà soát dữ liệu, xem hướng dẫn đánh giá tác nhân của chúng tôi để biết bước tiếp theo. Nếu phát hiện khoảng trống dữ liệu, hướng dẫn tìm nguồn dữ liệu của chúng tôi có thể giúp mô tả dữ liệu cần tìm.