งานวิจัย
ภาพเดียวอาจมี image ID ใน COCO สองรายการ
ในการแปลงที่ควบคุมเงื่อนไขด้วย Label Studio SDK 2.1.2 ผลตัดสินกรอบวัตถุที่ถูกต้องสองรายการสำหรับหนึ่งงานและภาพในเครื่องหนึ่งภาพสร้าง image ID ใน COCO สองรายการ แถวข้อมูลภาพทั้งสองมีพาธไฟล์เดียวกันทุกประการ กรอบวัตถุแต่ละกรอบอ้างอิง image ID ที่สร้างขึ้นคนละรายการ จากนั้นดัชนี COCO Python เวอร์ชันที่ตรึงไว้แสดง ID ทั้งสองแยกกัน โดยไม่ได้ตั้งค่า LABEL_STUDIO_FORCE_ANNOTATOR_EXPORT ในชุดทดสอบนี้ แถวข้อมูลกรอบวัตถุจึงมี annotation ID ที่สร้างขึ้นและไม่มี ID ของผลตัดสินและผู้ดำเนินการเดิม แถวข้อมูลภาพจากตัวแปลง · แถวข้อมูลกรอบวัตถุ · ดัชนี COCO · image ID ที่ไม่ผ่านการกรอง
| ต้นทางสำหรับภาพหนึ่งภาพ | ผลลัพธ์ COCO | ดัชนี COCO ที่ไม่ผ่านการกรอง |
|---|---|---|
| ผลตัดสินสองรายการที่ต่างกัน | สองแถวใช้พาธเดียวกัน โดยผลลัพธ์ B อยู่บน ID 0 และ A อยู่บน ID 1 | ID 0 และ 1 |
| ผลตัดสินสองรายการที่ตรงกัน | สองแถวใช้พาธเดียวกัน โดยทั้งสอง ID มีผลลัพธ์ A | ID 0 และ 1 |
| เลือกผลตัดสินหนึ่งรายการ | หนึ่งแถวสำหรับพาธ โดยผลลัพธ์ A อยู่บน ID 0 | ID 0 |
ตัวแปลงสร้างหนึ่งรายการต่อผลตัดสินที่เข้าเกณฑ์แต่ละรายการ โดยจัดสรร image ID และเพิ่มรายการภาพใหม่สำหรับแต่ละรายการในแขนงโค้ดที่ทดสอบ ทั้งกรณีที่ผลตัดสินตรงกันและต่างกันให้ ID สองรายการ ชุดทดสอบ YOLO ที่ใช้ร่วมกัน ส่งผลตัดสินที่ต่างกันสองรายการสำหรับภาพเดียวไปยังพาธเอาต์พุตเดียว ซึ่งการเขียนผลตัดสินเก่าที่สำเร็จจะเขียนทับผลตัดสินใหม่ ให้นับจำนวนพาธภาพที่ไม่ซ้ำกันในชุดข้อมูลที่ส่งมอบ และตรวจสอบการจับคู่ผลตัดสินต้นทางกับภาพเมื่อชุดข้อมูลควรมีหนึ่งแถวต่อภาพต้นฉบับหนึ่งภาพ การมี ID ตัวเลขที่ไม่ซ้ำกันเพียงอย่างเดียวยังยืนยันคุณสมบัตินี้ไม่ได้ คะแนนการประเมินขึ้นอยู่กับวิธีที่ผู้เรียกใช้นำ ID ไปใช้ และไม่มีการวัดคะแนนในการทดสอบนี้ การแปลงข้อมูล annotation ที่ใช้ร่วมกัน
เรียกใช้ python3 -B check-coco-identity.py | cmp - coco-identity-observations.json โดยเปิดการตรวจสอบความล้มเหลวของไปป์ไลน์ ตัวตรวจสอบ ซึ่งมี SHA-256 fb6f5a0eb3b8f269576353203f40e81b46515e55182f9b377b45ba34e4925d82 ใช้การแปลงข้อมูล annotation รูปทรงสี่เหลี่ยม และตัวเขียน COCO แบบเดียวกับใน SDK เวอร์ชันที่ตรึงไว้ทุกประการ รวมถึงดัชนีและการสืบค้น ID แบบเดียวกับในซอร์ส COCO Python เวอร์ชันที่ตรึงไว้ทุกประการ ตัวแทนขนาดภาพในเครื่องระบุขนาด 100 คูณ 100 สำหรับภาพสมมติที่กำหนดไว้ ผลการตรวจสอบเปรียบเทียบพาธภาพต้นทางแบบเต็มก่อนปรับให้เหลือชื่อไฟล์ที่คงที่ การเรียกใช้ในเครื่องสองครั้งและการทดสอบซ้ำโดยอิสระให้ผลตรงกันทุกไบต์ทั้งสามกรณี ผลสังเกตที่บันทึกไว้, SHA-256 bb4b13aae5a7c471507f1ebcdb9cac2dcd7c2fe62f232489b0a00078ec12e222
รายงานก่อนหน้าอธิบายผลของการใช้ผลตัดสินที่เก่ากว่าใน YOLO การค้นหาเรื่อง COCO พบรายงานที่เกี่ยวข้องเกี่ยวกับผลลัพธ์ว่างที่กำกวมและ annotation ส่วนเกินจากมาสก์แปรงที่แยกออก การศึกษานำร่องนี้ตรวจสอบ image ID สำหรับผลตัดสินหลายรายการของภาพเดียว โดยใช้ SDK สาธารณะภายใต้ Apache-2.0 และโค้ด COCO ภายใต้สัญญาอนุญาต BSD ซึ่งตรึงเวอร์ชันและดึงมาเมื่อรัน พร้อมจัดเตรียมโค้ดของตนเองและผลลัพธ์สมมติ แอปที่ติดตั้ง การถอดรหัสสื่อ การฝึกโมเดลและการประเมินอยู่นอกขอบเขตของชุดทดสอบนี้ รายงาน YOLO ก่อนหน้า · ประเด็นผลลัพธ์ COCO ว่าง · ประเด็นมาสก์แปรง · สัญญาอนุญาต SDK · สัญญาอนุญาต COCO