ข้ามไปยังเนื้อหาหลัก

เมนู

วิธีซื้อข้อมูลฝึก AI

ภาษา: ไทย

บอกเราว่าโมเดลของคุณต้องเรียนรู้อะไร และจะตัดสินอย่างไรว่าตัวอย่างมีประโยชน์ เราสามารถหารือเกี่ยวกับแหล่งข้อมูลที่เหมาะสมและหลักฐานที่ควรตรวจทาน ก่อนที่คุณจะตัดสินใจขอรับสิทธิ์ใช้งานชุดข้อมูล อธิบายโครงการของคุณให้ sapien1 ทราบ

คุณอาจขอสิทธิ์ใช้ชุดข้อมูลที่มีอยู่ ทำงานโดยตรงกับเจ้าของข้อมูล หรือว่าจ้างให้เก็บข้อมูลสำหรับงานเฉพาะ ก่อนตกลง ควรกำหนดว่าโมเดลต้องเรียนรู้อะไร ทดสอบตัวอย่างเทียบกับข้อกำหนดนั้น และตรวจสอบว่าเงื่อนไขที่เสนอครอบคลุมการใช้งานที่ตั้งใจไว้หรือไม่

คำถามที่เป็นประโยชน์ไม่ได้มีเพียง “มีข้อมูลมากแค่ไหน?” แต่รวมถึงระเบียนมีตัวอย่างและบริบทที่ทีมใช้ได้หรือไม่ และสิทธิ์ใช้งานที่ตกลงกันครอบคลุมบุคคล ระบบ และวัตถุประสงค์ที่เกี่ยวข้องหรือไม่

เลือกว่าจะหาข้อมูลจากที่ไหน

แนวทางควรพิจารณาเมื่อใดคำถามแรกที่ควรถาม
ชุดข้อมูลที่มีอยู่ต้องการชุดข้อมูลที่อาจมีอยู่แล้วครอบคลุมเวอร์ชัน ฟิลด์ ช่วงเวลา และเงื่อนไขการใช้งานใดบ้าง?
ข้อตกลงโดยตรงกับเจ้าของข้อมูลองค์กรหนึ่งมีระเบียนหรือเนื้อหาที่เกี่ยวข้องใครมีอำนาจอนุญาตการใช้งานที่เสนอ และเนื้อหาใดอยู่ในขอบเขต?
การเก็บหรือเตรียมข้อมูลตามความต้องการข้อมูลที่มีอยู่ขาดสถานการณ์ รูปแบบ หรือป้ายกำกับที่สำคัญจะเก็บหรือเตรียมข้อมูลใด ตรวจสอบคุณภาพอย่างไร และหลังจากนั้นนำไปใช้ทำอะไรได้บ้าง?
ชุดข้อมูลสาธารณะชุดข้อมูลที่เข้าถึงได้อาจเหมาะกับงานหรือใช้เปรียบเทียบเบื้องต้นได้เอกสารระบุอย่างไรเกี่ยวกับแหล่งที่มา ข้อจำกัด และการใช้งานที่ได้รับอนุญาต?

ตัวอย่างเช่น Opendatabay นำเสนอตลาดที่แสดงรายการชุดข้อมูล ส่วน Clickworker อธิบายบริการเก็บข้อมูลและทำ annotation ตามความต้องการ ทั้งสองเป็นจุดเริ่มต้นสำหรับการศึกษาเพิ่มเติม ควรตรวจสอบบริการและเงื่อนไขสำหรับข้อมูลเฉพาะที่ต้องการ

คู่มือจัดหาข้อมูล ของเราครอบคลุมวิธีอธิบายงาน ความครอบคลุม และรูปแบบก่อนติดต่อแหล่งข้อมูล

กำหนดว่าแต่ละตัวอย่างต้องมีอะไรบ้าง

เขียนพฤติกรรมที่ต้องการและข้อมูลที่จำเป็นต่อการประเมิน สำหรับเอเจนต์ฝ่ายสนับสนุน ระเบียนหนึ่งอาจต้องมีคำขอของลูกค้า นโยบายที่ใช้ในขณะนั้น การดำเนินการ และผลลัพธ์ ส่วนสำหรับโมเดลเอกสาร ฟิลด์สำคัญอาจเป็นภาพหน้าเอกสาร ข้อความที่สกัดได้ เค้าโครง และป้ายกำกับที่ตรวจสอบแล้ว

หากตัวอย่างเอกสารมีกล่องที่ติดป้ายกำกับ ให้ตรวจว่ากล่องตรงกับภาพที่ส่งมอบหรือไม่ บางรูปแบบระบุตำแหน่งเป็นสัดส่วนของขนาดหน้า ส่วนบางรูปแบบใช้พิกเซล ยืนยันหน้า เวอร์ชันภาพ หน่วย จุดกำเนิดพิกัด และการปรับขนาด ครอบตัด หรือหมุนที่เกิดขึ้น จากนั้นซ้อนกล่องตัวอย่างบนภาพเพื่อตรวจสอบความตรงกัน รวมถึงตรวจว่าป้ายกำกับอธิบายบริเวณที่ถูกต้องหรือไม่

ขอคำอธิบายชุดข้อมูลเวอร์ชันที่แน่นอน ได้แก่ แหล่งที่มา ขนาดและหน่วย ช่วงเวลาที่ครอบคลุม รูปแบบ ป้ายกำกับ สิ่งที่ทราบว่าไม่รวมอยู่ และประวัติการประมวลผล แนวทางการจัดทำ dataset card ของ Hugging Face อธิบายว่าการ์ดสามารถบันทึกเนื้อหา บริบท และเมทาดาทา เช่น สิทธิ์ใช้งาน ภาษา และขนาดได้อย่างไร ให้ใช้ฟิลด์เหล่านี้เป็นข้อมูลประกอบการตรวจสอบควบคู่กับเอกสารต้นทาง

ทดสอบตัวอย่างเทียบกับข้อกำหนด

ตกลงเรื่องตัวอย่างและการตรวจสอบก่อนตัดสินใจขยายขอบเขต โดยรวมทั้งสถานการณ์ทั่วไปที่โมเดลจะพบและกรณียากที่สำคัญต่องาน บันทึกวิธีคัดเลือกตัวอย่างและระบุว่าตัวอย่างเป็นตัวแทนของส่วนใดในชุดข้อมูลที่เสนอ

ข้อกำหนด Marketplace ของ Origin Lab ซึ่งตรวจอ่านเมื่อวันที่ 18 พฤศจิกายน 2026 จำกัดการใช้ตัวอย่างใน marketplace ตามนิยามของข้อกำหนดไว้สำหรับการประเมินภายใน และห้ามใช้ตัวอย่างเหล่านั้นเพื่อทดสอบหรือประเมินระบบ AI เว้นแต่ข้อตกลงทางการค้าที่เกี่ยวข้องซึ่ง Origin Lab ได้ลงนามไว้จะระบุไว้เป็นอย่างอื่นโดยชัดแจ้ง ข้อจำกัดสำหรับตัวอย่างนี้ไม่รวม Bench Materials ซึ่งมีนิยามแยกต่างหากและมีเงื่อนไขของตนเอง ตรวจสอบเงื่อนไขเฉพาะของตัวอย่างและข้อตกลงที่เกี่ยวข้องก่อนตรวจดู ทดสอบ ใช้ฝึก หรือแชร์ตัวอย่าง

สำหรับตัวอย่างเสียงพูดที่มีการประทับเวลาแต่ละคำ ให้ถามว่าใช้ไฟล์บันทึกใดและหน่วยเวลาใด หากเวลาประทับอ้างอิงสำเนาที่ตัดช่วงเงียบออกแล้ว ให้ขอตัวระบุไฟล์บันทึกต้นฉบับและแผนผังที่จับคู่ช่วงที่เก็บไว้กับไทม์ไลน์เดิม ตรวจสอบคำที่อยู่หลังจุดตัดภายในไฟล์ ในตัวอย่างสมมติที่นำช่วงวินาทีที่ 2–4 และ 7–9 ของต้นฉบับมาต่อกันโดยไม่เติมช่วงว่าง เวลา 2.5 วินาทีในตัวอย่างจะตรงกับ 7.5 วินาทีในต้นฉบับ หากบวกออฟเซ็ตสองวินาทีของช่วงแรก จะได้ 4.5 วินาที ซึ่งอยู่ในช่วงที่ถูกตัดออก การจับคู่เวลาประทับของ NeMo Curator

ตรวจสอบว่าข้อมูลที่ส่งมอบทำเครื่องหมายคำที่มีเวลาประทับคร่อมรอยต่ออย่างไร ในตัวอย่างสมมติเดียวกัน ฟังก์ชันช่วยของ faster-whisper ที่ทดสอบเลือกใช้ออฟเซ็ตเดียวสำหรับทั้งจุดเริ่มต้นและจุดสิ้นสุดของช่วงที่คร่อมรอยต่อ ทำให้จุดเริ่มต้นไปอยู่ในช่วงที่ถูกตัดออก หากการใช้งานของคุณต้องมีช่วงเวลาต่อเนื่องในไฟล์บันทึกต้นฉบับ ให้ตกลงวิธีทำเครื่องหมายและตรวจทานกรณีเหล่านี้ก่อนยอมรับข้อมูล การคืนค่าเวลาประทับของ faster-whisper · การคำนวณออฟเซ็ตของ faster-whisper

พิจารณาตัวอย่างสมมตินี้ ทีมหนึ่งต้องการ fine-tune เอเจนต์ฝ่ายสนับสนุนที่แนะนำขั้นตอนถัดไปสำหรับคำขอคืนสินค้า ผู้จัดหาเสนอชุดข้อมูลกรณีบริการลูกค้า ทีมจึงขอตัวอย่าง 12 กรณีเพื่อใช้ตรวจสอบ ได้แก่ การคืนสินค้าทั่วไปหกกรณีและกรณียกเว้นหกกรณี สำหรับการตรวจทานครั้งแรก ทีมกำหนดให้ทุกตัวอย่างมีคำขอของลูกค้า ลิงก์ไปยังเวอร์ชันนโยบายที่ใช้ และผลลัพธ์ที่บันทึกไว้

รายการตรวจสอบข้อกำหนดสำหรับตัวอย่างนี้ผลลัพธ์ตัวอย่าง
คำขอของลูกค้ามีในทั้ง 12 ตัวอย่างมีครบ 12 จาก 12 กรณี
เวอร์ชันนโยบายที่ใช้มีลิงก์ในทั้ง 12 ตัวอย่างมี 10 จาก 12 กรณี โดยกรณียกเว้นสองกรณีไม่มีลิงก์
ผลลัพธ์ที่บันทึกไว้มีในทั้ง 12 ตัวอย่างมี 11 จาก 12 กรณี โดยกรณีทั่วไปหนึ่งกรณีไม่มีผลลัพธ์

ตัวอย่างไม่ผ่านการตรวจสอบสองรายการตามที่ทีมกำหนด ขั้นตอนถัดไปคือสอบถามว่าสามารถกู้คืนลิงก์นโยบายและผลลัพธ์ที่ขาดไปได้หรือไม่ แล้วตรวจทานตัวอย่างที่แก้ไขแล้ว หากทำไม่ได้ ทีมอาจเปลี่ยนข้อกำหนดหรือมองหาแหล่งอื่น ผลลัพธ์ที่บันทึกไว้ไม่ได้หมายความว่าเป็นการตัดสินใจที่ถูกต้องโดยอัตโนมัติ ผู้ตรวจทานที่เชี่ยวชาญในด้านนั้นควรเปรียบเทียบผลลัพธ์กับนโยบายที่ใช้ด้วย

จำนวนเหล่านี้อธิบายเฉพาะ 12 กรณีที่เลือกมาเท่านั้น ไม่ได้ประมาณอัตราข้อผิดพลาดของชุดข้อมูลทั้งหมด หากต้องการประเมินความครอบคลุมในวงกว้าง ให้ถามว่าชุดข้อมูลกระจายอยู่ในสถานการณ์ที่เกี่ยวข้องอย่างไร และตกลงสุ่มตัวอย่างเพิ่มเติมด้วยวิธีที่มีการบันทึกไว้ แนวทางของ Google เรื่องคุณภาพข้อมูลและการสุ่มตัวอย่าง อธิบายว่าเหตุใดตัวอย่างที่เลือกมาจึงอาจทำให้เข้าใจประชากรกลุ่มใหญ่คลาดเคลื่อนได้

สมมติว่าทั้ง 12 กรณีมาจากปี 2024 แต่ชุดข้อมูลที่เสนอครอบคลุมปี 2022–2024 การตรวจสอบสำเนาที่แก้ไขแล้วช่วยยืนยันการแก้ไขในกรณีเหล่านั้นได้ แต่ไม่ได้แสดงว่าส่วนที่เหลือของชุดข้อมูลได้รับการแก้ไขแล้วหรือไม่ ให้ถามว่ามีการแก้ไขชุดข้อมูลเวอร์ชันใดและระเบียนใดบ้าง จากนั้นตกลงวิธีเลือกตัวอย่างชุดใหม่จากเวอร์ชันที่ตั้งใจจะซื้อ หากตรวจทานได้เฉพาะปี 2024 ให้ถือว่าปี 2022–2023 ยังไม่ได้รับการประเมิน และตัดสินใจว่าจะจำกัดขอบเขตการซื้อหรือรอการตรวจทานที่ครอบคลุมกว่านี้

หากไม่สามารถแชร์ระเบียนจริงเพื่อการตรวจทานเบื้องต้นได้ ให้ถามว่าสามารถใช้ตัวอย่างที่ผ่านการลบข้อมูลอ่อนไหวหรือเข้าถึงภายใต้การควบคุมได้หรือไม่ ตัวอย่างสังเคราะห์อาจแสดงรูปแบบได้ แต่ไม่สามารถยืนยันคุณภาพหรือความครอบคลุมของชุดข้อมูลจริง

ตกลงวิธีบังคับใช้สิทธิ์เข้าถึงก่อนรับตัวอย่าง: คำสั่งค้นหาที่เลือกเฉพาะบางคอลัมน์ไม่ได้จำกัดการเข้าถึงส่วนอื่นของไฟล์ต้นทางด้วยตัวเอง และ Parquet footer อาจมีสถิติของคอลัมน์อยู่ด้วย หากผู้ส่งต้องการจำกัดสิ่งที่ส่งข้ามขอบเขต ให้พิจารณาตัวอย่างที่จัดเตรียมแยกต่างหากโดยมีเฉพาะฟิลด์ที่อนุมัติ หรือบริการที่บังคับใช้สิทธิ์เข้าถึงระดับฟิลด์ ตรวจทานเมทาดาทาและการควบคุมการเข้าถึงควบคู่กับระเบียนที่ได้รับ

ตรวจสอบว่านำข้อมูลไปใช้ทำอะไรได้บ้าง

ตรวจสอบว่าข้อตกลงและเอกสารประกอบตรงกับชุดข้อมูลและโครงการนั้นโดยเฉพาะ คำถามที่ควรหารือกับผู้จัดหาและผู้รับผิดชอบการตรวจทานด้านกฎหมายและการจัดซื้อ ได้แก่:

  • ข้อตกลงครอบคลุมชุดข้อมูลเวอร์ชันใด และผู้จัดหามีอำนาจให้สิทธิ์ใช้งานตามที่เสนอหรือไม่?
  • ครอบคลุมการฝึก การ fine-tune การประเมิน หรือการดึงข้อมูลตามที่จำเป็นหรือไม่? เงื่อนไขระบุเรื่องการนำไปใช้งานเชิงพาณิชย์และข้อจำกัดที่เกี่ยวข้องกับโมเดลหรือผลลัพธ์หรือไม่?
  • ใครเข้าถึงหรือประมวลผลข้อมูลได้บ้าง รวมถึงผู้รับจ้างหรือผู้ให้บริการ? เงื่อนไขการส่งมอบ การจัดเก็บ ระยะเวลาการเก็บรักษา และการลบข้อมูลเป็นอย่างไร?
  • มีข้อยกเว้น สิทธิ์จากแหล่งต้นทาง เนื้อหาของบุคคลที่สาม หรือข้อจำกัดอื่นที่ต้องตรวจทานหรือไม่? มีหลักฐานใดสนับสนุนคำอธิบายของผู้จัดหาเกี่ยวกับแหล่งที่มาและสิทธิ์อนุญาตของข้อมูล?

จดแยกไว้ว่าเรื่องใดยืนยันแล้วและเรื่องใดยังต้องตรวจทาน ป้ายระบุสิทธิ์ใช้งานหรือ dataset card ช่วยระบุการใช้งานที่กล่าวอ้างได้ แต่ไม่ได้ยืนยันสิทธิ์ที่แท้จริงด้วยตัวเอง การตรวจสอบชุดข้อมูลข้อความ เสียงพูด และวิดีโอสาธารณะ พบความแตกต่างระหว่างคำอธิบายสิทธิ์ใช้งานระดับชุดข้อมูลกับข้อจำกัดที่เกี่ยวข้องกับเนื้อหาต้นทาง ผลการศึกษานี้เกี่ยวข้องกับชุดข้อมูลสาธารณะที่ตรวจสอบ ไม่ได้ครอบคลุมชุดข้อมูลเชิงพาณิชย์ทุกชุด

ตัวอย่างเช่น การ์ดที่ตรึงเวอร์ชันไว้สำหรับ SciFact ซึ่งเป็นชุดข้อมูลวิจัยสาธารณะ ระบุว่าชุดข้อมูลใช้สิทธิ์ CC BY-NC 2.0 และลิงก์ไปยังไฟล์สิทธิ์ใช้งานบนแบรนช์ master ของ repository ซึ่งเปลี่ยนแปลงได้ ในสแนปช็อตที่ตรึงเวอร์ชันของสิทธิ์ใช้งานนั้น repository ระบุแยกกันว่าใช้ CC BY 4.0 สำหรับข้อกล่าวอ้างและ annotation ของหลักฐาน ใช้ ODC-By 1.0 สำหรับบทคัดย่อในคลังข้อมูล และใช้ Apache 2.0 สำหรับโค้ด เอกสารเหล่านี้อาจอธิบายเวอร์ชัน องค์ประกอบ หรือการแปลงข้อมูลที่ต่างกัน จึงไม่ได้ยืนยันเงื่อนไขสำหรับไฟล์ใดไฟล์หนึ่งด้วยตัวเอง ให้จับคู่ไฟล์ที่ส่งมอบและองค์ประกอบต้นทางกับเอกสารที่เกี่ยวข้อง และให้ผู้รับผิดชอบตรวจทานประเด็นสิทธิ์ที่ยังไม่ได้ข้อยุติ

วางแผนการประเมินและการส่งมอบ

ตัดสินใจว่าจะส่งมอบและยอมรับข้อมูลอย่างไร ทั้งรูปแบบไฟล์ manifest หรือตัวระบุเวอร์ชัน เอกสารประกอบ การตรวจสอบตัวอย่าง และวิธีแก้ไขปัญหา หากจะใช้ข้อมูลเพื่อประเมินโมเดลด้วย ให้แยกชุดทดสอบออกจากการฝึกและตรวจหาข้อมูลซ้ำระหว่างชุดที่แบ่งไว้ แนวทางของ Google เรื่องการแบ่งชุดข้อมูล อธิบายว่าข้อมูลซ้ำอาจทำให้ผลการทดสอบดูดีกว่าความเป็นจริงได้อย่างไร

ตรวจสอบว่าช่วงเวลาตรวจรับเริ่มเมื่อใด ต้องแจ้งอย่างไร การไม่ตอบมีผลอย่างไร และมีวิธีเยียวยาใดบ้าง ตัวอย่างเช่น ใบอนุญาตมาตรฐานสำหรับการฝึก AI ของ ai.market เวอร์ชัน 1.0 ให้เวลาผู้ซื้อเจ็ดวันตามปฏิทินหลังการส่งมอบครั้งแรกเพื่อแจ้ง marketplace ว่าข้อมูลไม่ตรงกับรายการที่ประกาศไว้อย่างมีนัยสำคัญ ส่วน ข้อกำหนดหลักของ micro1 ซึ่งอัปเดตเมื่อวันที่ 12 พฤศจิกายน 2026 ให้เวลา micro1 ซึ่งเป็นผู้รับสิทธิ์ใช้งาน 30 วันทำการหลังการส่งมอบตาม manifest เสร็จสมบูรณ์เพื่อปฏิเสธข้อมูลเป็นลายลักษณ์อักษร และมีเงื่อนไขเริ่มนับเวลาแยกต่างหากหากผู้จัดหาแจ้ง micro1 เป็นลายลักษณ์อักษรว่าส่งมอบข้อมูลที่เหลือไม่ได้ เอกสารเหล่านี้ใช้กับธุรกรรมที่ต่างกันและมีเงื่อนไขกับข้อยกเว้นเพิ่มเติม ควรตรวจทานเงื่อนไขและเวอร์ชันที่ใช้กับคำสั่งซื้อของคุณ

manifest สามารถระบุรายการไฟล์และ checksum ที่คาดว่าจะได้รับสำหรับชุดข้อมูลเวอร์ชันที่ตกลงกันได้ ตกลงวิธียืนยันแหล่งที่มาของ manifest เปรียบเทียบรายการไฟล์กับสิ่งที่ได้รับ และตรวจสอบไฟล์ที่ขาด เกินมา หรือไม่ตรงกัน ตัวอย่างเช่น หาก manifest สมมติระบุไฟล์สองไฟล์แต่ได้รับเพียงไฟล์เดียว การที่ checksum ของไฟล์นั้นตรงกันไม่ได้ทำให้การส่งมอบครบถ้วน ข้อกำหนด BagIt แยกความครบถ้วนออกจากการตรวจสอบ checksum สำหรับรูปแบบการจัดชุดไฟล์รูปแบบหนึ่ง checksum ที่ตรงกันหมายความว่า digest ที่คำนวณจากไฟล์ตรงกับที่ระบุใน manifest แต่ไม่ได้ยืนยันตัวตนผู้ส่ง ความถูกต้องของป้ายกำกับ ความครอบคลุมที่เป็นตัวแทน หรือสิทธิ์ใช้ข้อมูลด้วยตัวเอง ให้ตรวจทานเรื่องเหล่านั้นแยกต่างหาก

เมื่อผู้จัดหาส่งเวอร์ชันถัดไป โปรดดูวิธีตรวจรับข้อมูล AI ที่ส่งมอบเป็นประจำ

สำหรับตัวอย่างการตรวจสอบข้อมูลรั่วไหลจากชุดทดสอบและบริบทที่ขาดหายไป โปรดดูคู่มือประเมินชุดข้อมูล ของเรา

sapien1 ช่วยทีมกำหนดขอบเขตความต้องการข้อมูล ระบุแหล่งที่เป็นไปได้ และประเมินตัวอย่าง เริ่มจากงาน ตัวอย่างที่ต้องการ และการตัดสินใจที่ตัวอย่างต้องช่วยสนับสนุน เจ้าของข้อมูลที่กำลังเตรียมตัวสำหรับการหารือสามารถใช้คู่มือเตรียมความพร้อมสำหรับการให้สิทธิ์ใช้ข้อมูล ของเรา