Nghiên cứu
Một ảnh có thể tạo thành hai ID ảnh COCO
Trong phép chuyển đổi có kiểm soát bằng Label Studio SDK 2.1.2, hai đánh giá hộp hợp lệ cho một tác vụ và một ảnh cục bộ tạo ra hai ID ảnh COCO. Cả hai dòng ảnh đều có cùng một đường dẫn tệp chính xác. Mỗi hộp tham chiếu đến một ID ảnh được tạo khác nhau. Chỉ mục COCO Python ở phiên bản cố định sau đó liệt kê riêng cả hai ID. Khi LABEL_STUDIO_FORCE_ANNOTATOR_EXPORT không được đặt trong bộ dữ liệu kiểm thử này, các dòng hộp mang ID chú thích được tạo và không có ID đánh giá và ID người thực hiện ban đầu. Các dòng ảnh của bộ chuyển đổi · Các dòng hộp · Chỉ mục COCO · ID ảnh chưa lọc
| Nguồn cho một ảnh | Kết quả COCO | Chỉ mục COCO chưa lọc |
|---|---|---|
| Hai đánh giá không thống nhất | Hai dòng cho cùng đường dẫn, với kết quả B ở ID 0 và A ở ID 1 | ID 0 và 1 |
| Hai đánh giá thống nhất | Hai dòng cho cùng đường dẫn, với kết quả A ở cả hai ID | ID 0 và 1 |
| Một đánh giá được chọn | Một dòng cho đường dẫn, với kết quả A ở ID 0 | ID 0 |
Bộ chuyển đổi tạo một mục cho mỗi đánh giá đủ điều kiện. Trong nhánh được thử nghiệm, bộ chuyển đổi cấp một ID ảnh và thêm một mục ảnh mới cho mỗi mục. Cả trường hợp thống nhất và không thống nhất đều tạo ra hai ID. Bộ dữ liệu kiểm thử YOLO tương ứng đưa hai đánh giá không thống nhất cho một ảnh vào cùng một đường dẫn đầu ra; tại đó, lần ghi thành công của đánh giá cũ ghi đè đánh giá mới. Khi một tập dữ liệu phải có một dòng cho mỗi ảnh gốc, hãy đếm các đường dẫn ảnh riêng biệt được bàn giao và kiểm tra ánh xạ từ đánh giá nguồn sang ảnh. Chỉ dựa vào các ID số duy nhất thì chưa xác minh được điều đó. Điểm của một phép đánh giá phụ thuộc vào cách bên gọi sử dụng các ID và thử nghiệm này không đo điểm. Phép chiếu chú thích dùng chung
Chạy python3 -B check-coco-identity.py | cmp - coco-identity-observations.json với tính năng kiểm tra lỗi pipeline. Trình kiểm tra, SHA-256 fb6f5a0eb3b8f269576353203f40e81b46515e55182f9b377b45ba34e4925d82, sử dụng chính xác phép chiếu chú thích, hình học hình chữ nhật và trình ghi COCO từ SDK ở phiên bản cố định, cùng chỉ mục và truy vấn ID chính xác từ mã nguồn COCO Python ở phiên bản cố định. Một thành phần thay thế cục bộ cung cấp kích thước 100 × 100 cho một ảnh hư cấu cố định. Bản ghi kết quả so sánh toàn bộ đường dẫn ảnh nguồn trước khi chuẩn hóa về tên tệp cơ sở ổn định. Hai lần chạy cục bộ và một lần chạy lại độc lập đều khớp từng byte trong cả ba trường hợp. Kết quả quan sát đã lưu, SHA-256 bb4b13aae5a7c471507f1ebcdb9cac2dcd7c2fe62f232489b0a00078ec12e222.
Một báo cáo trước đây ghi nhận ảnh hưởng của đánh giá cũ hơn trong YOLO. Tìm kiếm về COCO tìm thấy các báo cáo liên quan về kết quả rỗng không rõ nghĩa và chú thích thừa từ các mặt nạ cọ bị tách rời. Thử nghiệm thí điểm này kiểm tra ID ảnh khi có nhiều đánh giá cho một ảnh. Thử nghiệm sử dụng SDK công khai theo giấy phép Apache-2.0 và mã COCO theo giấy phép BSD, đều ở phiên bản cố định và được tải khi chạy; đồng thời cung cấp mã riêng và kết quả được tạo giả. Ứng dụng đã cài đặt, việc giải mã nội dung đa phương tiện, huấn luyện mô hình và đánh giá nằm ngoài bộ dữ liệu kiểm thử. Báo cáo YOLO trước đây · Vấn đề kết quả COCO rỗng · Vấn đề mặt nạ cọ · Giấy phép SDK · Giấy phép COCO