วิธีตรวจรับข้อมูล AI ที่ส่งมอบเป็นรอบ
ภาษา: ไทย
แจ้งสคีมาที่คาดหวัง ความถี่ในการส่งมอบ และเงื่อนไขที่จะทำให้ข้อมูลชุดหนึ่งใช้งานไม่ได้ เราช่วยกำหนดขอบเขตการตรวจสอบเพื่อรับมอบ และบันทึกสิ่งที่ผ่านเกณฑ์หรือต้องแก้ไข อธิบายโครงการของคุณให้ sapien1 ทราบ
ก่อนนำชุดข้อมูลที่ส่งมอบเป็นรอบไปใช้ ให้เทียบกับเวอร์ชันล่าสุดที่ทีมของคุณตรวจรับแล้ว ตรวจสอบว่าไฟล์ใหม่ใช้แทนชุดข้อมูลตามขอบเขตที่ตกลงกันทั้งหมด หรือมีเฉพาะรายการที่เปลี่ยนจากเวอร์ชันตั้งต้นที่ระบุ ไฟล์อาจผ่านการตรวจสอบแม้ว่าการอัปเดตจะอ้างอิงเวอร์ชันตั้งต้นผิด
ตรวจสอบขอบเขตการส่งมอบรอบใหม่
ขอรหัสรุ่นที่ส่งมอบ ขอบเขต และบัญชีรายการไฟล์ หากเป็นชุดทดแทน ให้ยืนยันขอบเขตของชุดข้อมูลทั้งหมด หากเป็นชุดการเปลี่ยนแปลง ให้ตรวจสอบว่าต้องใช้เวอร์ชันใดเป็นจุดเริ่มต้น และผู้จัดหาระบุรายการที่เพิ่ม อัปเดต หรือลบอย่างไร ระเบียนที่ไม่มีการเปลี่ยนแปลงอาจไม่ปรากฏในไฟล์รายการเปลี่ยนแปลง AWS Data Exchange อธิบายทั้งชุดข้อมูลฉบับเต็มที่อัปเดตแล้วและรุ่นแก้ไขที่มีข้อมูลใหม่หลังรุ่นก่อนหน้า เอกสารเกี่ยวกับการแก้ไขข้อมูลใน AWS Data Exchange
เทียบชื่อไฟล์และค่าเช็กซัมกับบัญชีรายการไฟล์ที่ตกลงกันไว้ จากนั้นตรวจแยกต่างหากว่าเวอร์ชันตั้งต้นและรายการเปลี่ยนแปลงของระเบียนตรงตามข้อตกลงการส่งมอบหรือไม่ BagIt อธิบายบัญชีรายการไฟล์และการตรวจสอบค่าเช็กซัม ข้อกำหนด BagIt
ทดลองใช้การอัปเดตในสภาพแวดล้อมทดสอบและตรวจสอบระเบียนที่ได้
ในตัวอย่างสมมตินี้ ผู้ซื้อใช้ฟีดแค็ตตาล็อกเพื่อเลือกระเบียนสำหรับชุดข้อมูลฝึก เกณฑ์การตรวจสอบกำหนดว่าเวอร์ชันตั้งต้นต้องตรงกัน และทุกระเบียนที่ถูกรวมซึ่งชุดข้อมูลฝึกอ้างถึงต้องมีระเบียนปลายทางที่ยังใช้งานอยู่ เวอร์ชันล่าสุดที่ตรวจรับคือ R12 ซึ่งมี ID ที่ใช้งานอยู่ ได้แก่ A14, A27, A38 และ A52 แพ็กเกจแรกของ R13 ผ่านการตรวจไฟล์ แต่ระบุ R11 เป็นเวอร์ชันตั้งต้น ผู้ซื้อจึงใช้ R12 ต่อและขอชุดการเปลี่ยนแปลงที่เริ่มจาก R12 หรือชุดข้อมูลทดแทนฉบับเต็มตามขอบเขตที่ตกลงกัน
ผู้จัดหาส่ง R13b เป็นฉบับแก้ไขที่ระบุ R12 ผู้ซื้อตรวจสอบไฟล์ใหม่แล้วนำรายการเปลี่ยนแปลงไปใช้กับสำเนาในสภาพแวดล้อมทดสอบที่อนุมัติให้ใช้กับข้อมูลนี้
| ระเบียน | การเปลี่ยนแปลงใน R13b หรือสถานะที่คาดไว้ | สิ่งที่ต้องตรวจสอบก่อนรับ R13b |
|---|---|---|
A14 | เปลี่ยนหัวข้อจาก returns เป็น exchanges | ตรวจสอบค่าเดิมใน R12 และค่าใหม่ในผลการทดสอบ |
A27 | รวมเข้ากับ A38 | ตรวจสอบว่า A27 ไม่อยู่ในชุดที่ใช้งานแล้ว และข้อมูลอ้างอิงปัจจุบันชี้ไปที่ A38 |
A38 | ยังคงใช้งานอยู่ในฐานะปลายทางของการรวม | ตรวจสอบว่ามีระเบียนปลายทางของการรวม |
A52 | ไม่ปรากฏในชุดการเปลี่ยนแปลง | ตรวจสอบว่าระเบียนที่ไม่เปลี่ยนแปลงยังใช้งานอยู่ |
A65 | เพิ่มระเบียน | ตรวจสอบว่า ID ใหม่ปรากฏเพียงครั้งเดียว |
ID ที่ควรใช้งานอยู่หลังอัปเดตได้แก่ A14, A38, A52 และ A65 การนับแถวอย่างเดียวจะไม่พบว่า ID เปลี่ยนไป เพราะทั้งสองเวอร์ชันมีระเบียนที่ใช้งานอยู่สี่รายการเท่ากัน หากไม่พบ A38 ผู้ซื้อจะพักการตรวจรับ R13b และขอให้ผู้จัดหาแก้ไขข้อมูลอ้างอิงที่ใช้ไม่ได้ เมื่อการตรวจสอบในตัวอย่างนี้ผ่านแล้ว ผู้ซื้อบันทึกว่า ตรวจรับ R13b แล้ว และ พักการตรวจรับ R13 เพราะเวอร์ชันตั้งต้นไม่ตรงกัน พร้อมค่าแฮชของบัญชีรายการไฟล์แต่ละแพ็กเกจ
ดูแลให้ข้อมูลอ้างอิงทั้งปัจจุบันและย้อนหลังยังใช้ได้
ถามว่าระเบียนที่ถูกลบมี ID อื่นมาแทนหรือไม่ OpenAlex ใส่ ID ของผลงานที่ถูกนำออกหลังรวมเข้ากับผลงานอื่นไว้ในไฟล์รายการลบ อีกไฟล์เป็นตารางการรวมที่แสดง ID ปลายทางปัจจุบันของ ID ที่ระบุเท่าที่ตรวจสอบได้ หากข้อตกลงอนุญาตให้เก็บตัวระบุไว้ ให้บันทึก ID ที่ผู้จัดหาส่งมา ID ที่อ้างถึงในปัจจุบัน และเวอร์ชันที่ใช้ตรวจหาปลายทางนั้น ตรวจสอบว่า ID ปลายทางยังใช้งานอยู่ในรุ่นที่ส่งมอบนั้น เอกสารการซิงค์ข้อมูลของ OpenAlex
หากต้องสร้างชุดข้อมูลฝึกเดิมขึ้นใหม่หลังย้ายตาราง ให้บันทึกวิธีเลือกเวอร์ชันเดิม ข้อมูลอ้างอิงปลายทางที่เสนอ รวมถึงเขตเวลาและแหล่งเวลาที่ใช้กำหนดจุดตัดถ้ามี ลองใช้วิธีเลือกทั้งสองแบบกับระบบที่เกี่ยวข้องก่อนนำไปอ้างอิง ในการทดสอบซ้ำของ sapien1 ในสภาพแวดล้อมภายในเครื่อง โดยใช้ตาราง Delta เปล่ากับ Iceberg 1.12.0 ยังเข้าถึงสแนปช็อตก่อนหน้าได้ผ่านแท็กเวอร์ชัน แต่การค้นหาด้วยเวลาของไฟล์บันทึก Delta ไฟล์ที่สองไม่พบรายการที่ตรงกันในประวัติที่ Iceberg เผยแพร่ การศึกษาการย้ายข้อมูลด้วย Iceberg
บันทึกผลการตัดสินใจไว้สำหรับการส่งมอบรอบถัดไป
บันทึกเวอร์ชันตั้งต้น รุ่นที่ได้รับ รหัสหรือค่าแฮชของบัญชีรายการไฟล์ ผลการตรวจสอบ ID ที่ใช้งานอยู่ ข้อมูลอ้างอิงที่ยังแก้ไขไม่ได้ และการตัดสินใจว่าจะตรวจรับหรือขอให้แก้ไข สอบถามผู้จัดหาว่าตัวบ่งชี้การลบมีความหมายอย่างไรตามข้อตกลง และปฏิบัติตามกฎที่ใช้กับสำเนาหรือตัวระบุที่คุณเก็บไว้
หากต้องการความช่วยเหลือในการกำหนดรายการตรวจรับ ส่งอีเมลถึง sapien1 พร้อมระบุเวอร์ชันล่าสุดที่ตรวจรับ รูปแบบการอัปเดต และเรื่องที่คุณต้องตัดสินใจ
หากยังอยู่ระหว่างเลือกผู้จัดหา ให้เริ่มจากคู่มือ วิธีซื้อข้อมูลสำหรับฝึก AI หากต้องการความช่วยเหลือในการกำหนดงานและข้อมูลที่ต้องใช้ โปรดดูคู่มือ การจัดหาแหล่งข้อมูล