Paano bumili ng AI training data
Wika: Tagalog
Sabihin sa amin kung ano ang kailangang matutuhan ng iyong modelo at kung paano mo huhusgahan kung kapaki-pakinabang ang isang sample. Maaari nating talakayin ang mga angkop na source at ang ebidensiyang dapat suriin bago ka magpasya kung kukuha ng lisensiya para sa isang koleksiyon. Ilarawan ang iyong proyekto sa sapien1
Maaari kang kumuha ng lisensya para sa isang umiiral na dataset, direktang makipagkasundo sa may-ari ng data o magpagawa ng koleksyon para sa isang partikular na gawain. Bago magpasya, tukuyin kung ano ang kailangang matutuhan ng model, subukan ang sample laban sa requirement na iyon at tingnan kung saklaw ng iminungkahing mga tuntunin ang nilalayong paggamit.
Ang mahalagang tanong ay hindi lamang “Gaano karaming data ang available?” Mahalaga ring malaman kung naglalaman ang mga record ng mga halimbawa at kontekstong magagamit ng team, at kung saklaw ng napagkasunduang lisensya ang mga taong sangkot, system at layunin.
Piliin kung saan kukuha ng data
| Paraan | Kailan ito dapat isaalang-alang | Unang itatanong |
|---|---|---|
| Umiiral na dataset | Kailangan mo ng koleksyong maaaring mayroon na. | Aling bersyon, mga field, panahon at tuntunin sa paggamit ang kasama? |
| Direktang kasunduan sa may-ari ng data | Isang organisasyon ang may hawak ng mga kaugnay na record o content. | Sino ang maaaring magbigay ng pahintulot para sa iminungkahing paggamit, at anong materyal ang saklaw? |
| Pinasadyang pagkolekta o paghahanda | Hindi nasasaklaw ng umiiral na materyal ang mahahalagang sitwasyon, format o label. | Ano ang kokolektahin o ihahanda, paano susuriin ang kalidad, at ano ang maaari mong gamitin pagkatapos? |
| Dataset na bukas sa publiko | Maaaring angkop sa gawain ang isang koleksyong maaaring ma-access o magsilbi itong panimulang paghahambingan. | Ano ang sinasabi ng dokumentasyon nito tungkol sa pinagmulan, mga limitasyon at pinahihintulutang paggamit? |
Halimbawa, nagtatampok ang Opendatabay ng isang marketplace ng mga dataset listing, samantalang inilalarawan ng Clickworker ang mga serbisyo nito para sa pasadyang pagkolekta at paglalagay ng annotation. Mga panimulang opsyon ang mga ito na dapat siyasatin; tingnan ang alok at mga tuntunin para sa partikular na data na kailangan mo.
Tinatalakay sa aming gabay sa pagkuha ng data kung paano ilalarawan ang gawain, saklaw at format bago lumapit sa isang source.
Pagpasiyahan kung ano ang dapat isama sa bawat halimbawa
Isulat ang nilalayong kilos ng model at ang impormasyong kailangan upang masuri ito. Para sa isang support agent, maaaring kailangang kasama sa isang record ang kahilingan ng customer, ang patakarang ipinatutupad sa panahong iyon, ang aksyong ginawa at ang kinalabasan. Para sa isang document model, maaaring mahalagang field ang mga larawan ng pahina, na-extract na text, layout at mga na-verify na label.
Kung may mga kahong may label sa isang document sample, tingnan kung nakahanay ang mga kahon sa mga larawang naihatid. Ipinapahayag ng ilang format ang mga posisyon bilang mga fraction ng sukat ng pahina; gumagamit naman ang iba ng mga pixel. Kumpirmahin ang pahina, bersyon ng larawan, mga unit, panimulang punto ng mga coordinate at anumang pagbabago ng laki, pag-crop o pag-ikot, saka ipatong ang mga sample na kahon upang suriin ang pagkakahanay. Suriin din kung inilalarawan ng mga label ang mga tamang bahagi.
Humingi ng paglalarawan ng eksaktong bersyon ng dataset: ang pinagmulan, laki at mga unit nito, saklaw na panahon, mga format, label, alam na hindi kasama at kasaysayan ng pagproseso. Inilalarawan ng gabay ng Hugging Face sa dataset card kung paano maidodokumento sa isang card ang mga nilalaman, konteksto at metadata gaya ng lisensya, wika at laki. Ituring ang mga field na iyon bilang impormasyong dapat suriin kasama ng mga sumusuportang dokumento.
Subukan ang sample laban sa iyong mga requirement
Magkasundo sa sample at sa mga pagsusuring gagawin bago magpasya kung palalawakin ang paggamit. Isama ang mga karaniwang sitwasyong makakaharap ng model at ang mahihirap na kasong mahalaga sa gawain. Itala kung paano pinili ang sample at kung aling mga bahagi ng iminungkahing koleksyon ang kinakatawan nito.
Nililimitahan ng Marketplace Terms ng Origin Lab, na binasa noong 18 Nobyembre 2026, ang mga sample ng marketplace na tinutukoy nito sa panloob na pagsusuri at ipinagbabawal ang paggamit sa mga ito upang subukan o suriin ang isang AI system, maliban kung hayagang nagsasaad ng iba ang isang naaangkop na komersyal na kasunduang nilagdaan ng Origin Lab. Hindi kasama sa paghihigpit na iyon sa sample ang hiwalay na tinukoy na Bench Materials, na may sarili nitong mga tuntunin. Suriin ang mga partikular na tuntunin ng sample at anumang kasunduan bago ito siyasatin, subukan, gamitin sa training o ibahagi.
Para sa speech sample na may mga timestamp ng salita, itanong kung aling recording at anong unit ng oras ang ginamit sa mga ito. Kung tumutukoy ang mga timestamp sa isang kopyang inalisan ng katahimikan, hingin ang identifier ng source recording at isang mapa ng mga pinanatiling bahagi patungo sa orihinal na timeline. Suriin ang isang salita pagkatapos ng isang hiwa sa gitna ng recording. Sa isang kathang-isip na sample na pinagdurugtong ang mga segundo 2–4 at 7–9 ng source nang walang padding, ang 2.5 segundo sa sample ay tumutugma sa 7.5 segundo sa source. Kung idaragdag ang dalawang segundong offset ng unang bahagi, ang resulta ay 4.5 segundo, na nasa loob ng inalis na pagitan. Pagmamapa ng timestamp ng NeMo Curator
Tingnan kung paano minamarkahan sa naihatid na data ang mga salitang ang mga timestamp ay tumatawid sa isang pinagdugtungan. Sa parehong kathang-isip na sample, pumili ang sinubukang faster-whisper helper ng iisang offset para sa magkabilang dulo ng isang interval na tumatawid sa pinagdugtungan at inilagay ang simula nito sa loob ng inalis na pagitan. Kung nangangailangan ang paggamit mo ng tuloy-tuloy na interval sa orihinal na recording, magkasundo kung paano mamarkahan at susuriin ang mga kasong iyon bago tanggapin ang mga ito. Pagpapanumbalik ng timestamp ng faster-whisper · Pagkalkula ng offset ng faster-whisper
Isaalang-alang ang kathang-isip na halimbawang ito. Nais ng isang team na i-fine-tune ang isang support agent na nagrerekomenda ng susunod na hakbang para sa isang kahilingan sa pagbabalik ng produkto. Nagmumungkahi ang isang supplier ng koleksyon ng mga support case. Humihingi ang team ng 12 halimbawang magagamit sa pagsusuri: anim na karaniwang pagbabalik at anim na exception. Para sa unang pagsusuring ito, hinihingi nitong kasama sa bawat halimbawa ang kahilingan ng customer, isang link sa bersyon ng patakarang ipinatutupad noon at ang naitalang kinalabasan.
| Pagsusuri | Requirement para sa sample na ito | Halimbawang resulta |
|---|---|---|
| Kahilingan ng customer | Nasa lahat ng 12 halimbawa | Nasa 12 sa 12 |
| Naaangkop na bersyon ng patakaran | Naka-link sa lahat ng 12 halimbawa | Nasa 10 sa 12; walang link ang dalawang exception case |
| Naitalang kinalabasan | Nasa lahat ng 12 halimbawa | Nasa 11 sa 12; walang kinalabasan ang isang karaniwang kaso |
Hindi pumasa ang sample sa dalawa sa mga nakasaad na pagsusuri ng team. Ang susunod na hakbang ay itanong kung maaaring mabawi ang mga nawawalang link sa patakaran at ang kinalabasan, at suriin ang isang naitamang sample. Kung hindi maaari, maaaring baguhin ng team ang requirement nito o humanap ng ibang source. Ang naitalang kinalabasan ay hindi awtomatikong nangangahulugang tamang desisyon: dapat ding ihambing ng isang reviewer na may kadalubhasaan sa larangan ang mga kinalabasan sa naaangkop na patakaran.
Ang mga bilang na ito ay para lamang sa 12 napiling kaso. Hindi nila tinatantya ang rate ng pagkakamali sa buong koleksyon. Upang masuri ang mas malawak na saklaw, itanong kung paano nahahati ang dataset sa mga kaugnay na sitwasyon at magkasundo sa karagdagang sample na pipiliin gamit ang isang dokumentadong pamamaraan. Ipinapaliwanag ng gabay ng Google sa kalidad ng data at sampling kung bakit maaaring magbigay ang isang napiling sample ng mapanlinlang na larawan ng mas malaking populasyon.
Ipagpalagay na ang 12 kasong iyon ay pawang mula sa 2024, ngunit ang inaalok na koleksyon ay sumasaklaw sa 2022–2024. Makukumpirma ng pagsusuri sa isang naitamang kopya ang mga pag-aayos sa mga kasong iyon; hindi nito ipinapakita kung naitama ang natitirang bahagi ng koleksyon. Itanong kung aling bersyon ng dataset at mga record ang naitama, saka magkasundo kung paano pipili ng bagong sample mula sa bersyong balak mong bilhin. Kung 2024 lamang ang maaaring suriin, iwanang hindi nasusuri ang 2022–2023 at magpasya kung lilimitahan ang bibilhin o maghihintay ng mas malawak na pagsusuri.
Kung hindi maibabahagi ang mga totoong record para sa unang pagsusuri, itanong kung posible ang isang sample na inalisan ng sensitibong impormasyon o kontroladong access. Maaaring ipakita ng isang synthetic na halimbawa ang format, ngunit hindi nito mapapatunayan ang kalidad o saklaw ng aktuwal na koleksyon.
Magkasundo kung paano ipatutupad ang mga limitasyon sa access bago tumanggap ng sample: ang isang query na pumipili ng ilang column ay hindi, sa sarili nito, naglilimita ng access sa natitirang bahagi ng pinagbabatayang file. Maaari ring maglaman ang isang Parquet footer ng mga estadistika ng column. Kung kailangang limitahan ng nagpapadala ang impormasyong lumalabas sa kontroladong saklaw, isaalang-alang ang isang hiwalay na inihandang sample na may mga aprubadong field o isang serbisyong nagpapatupad ng access sa antas ng field. Suriin ang metadata at mga kontrol sa access kasama ng mga record na ibinalik.
Alamin kung paano mo puwedeng gamitin ang data
Itugma ang kasunduan at mga sumusuportang dokumento sa partikular na dataset at proyekto. Kabilang sa mga tanong na dapat talakayin sa supplier at sa mga taong responsable sa legal at procurement review ang:
- Aling bersyon ng dataset ang saklaw, at awtorisado ba ang supplier na ibigay ang pahintulot para sa iminungkahing paggamit?
- Kasama ba ang training, fine-tuning, evaluation o retrieval kung kinakailangan? Tinutugunan ba ng mga tuntunin ang komersyal na deployment at anumang kaugnay na paghihigpit sa mga model o output?
- Sino ang maaaring mag-access o magproseso ng data, kabilang ang mga kontratista o service provider? Ano ang mga tuntunin sa paghahatid, storage, pagpapanatili at pagbura?
- Mayroon bang mga hindi kasama, karapatan sa mga pinagmulang materyal, materyal ng third party o iba pang paghihigpit na kailangang suriin? Anong ebidensya ang available upang suportahan ang paliwanag ng supplier tungkol sa pinagmulan ng data at mga pahintulot?
Itala nang magkahiwalay kung ano ang nakumpirma at kung ano pa ang kailangang suriin. Nakakatulong ang isang label ng lisensya o dataset card na matukoy ang paggamit na sinasabing pinahihintulutan; hindi nito sa sarili nito nave-verify ang mga karapatang sumusuporta rito. Natuklasan ng isang audit ng mga public dataset ng text, speech at video ang mga pagkakaiba sa pagitan ng mga paglalarawan ng lisensya sa antas ng dataset at ng mga paghihigpit na kaugnay ng pinagmulang content. Ang mga natuklasan nito ay tungkol sa mga public dataset na sinuri, hindi sa bawat komersyal na koleksyon.
Halimbawa, inilalarawan ng isang naka-pin na card para sa public research dataset na SciFact ang dataset bilang CC BY-NC 2.0 at nagli-link ito sa isang file ng lisensya sa master branch ng repository, na maaaring magbago. Sa isang naka-pin na snapshot ng lisensyang iyon, hiwalay na inilalarawan ng repository ang CC BY 4.0 para sa mga claim at evidence annotation, ODC-By 1.0 para sa mga abstract ng corpus, at Apache 2.0 para sa code nito. Maaaring tumutukoy ang mga dokumento sa magkakaibang bersyon, bahagi o pagbabago; hindi nila sa sarili nila itinatakda ang mga tuntunin para sa isang partikular na file. Itugma ang mga naihatid na file at ang mga pinagmulang bahagi ng mga ito sa kaugnay na dokumentasyon, at ipasuri ang mga hindi pa nalulutas na tanong tungkol sa mga karapatan.
Magplano para sa pagsusuri at paghahatid
Magpasya kung paano ihahatid at tatanggapin ang data: mga format ng file, isang manifest o identifier ng bersyon, dokumentasyon, mga pagsusuri sa sample at kung paano itatama ang mga problema. Kung gagamitin din ang data upang suriin ang isang model, panatilihing hiwalay ang isang test set mula sa training at tingnan kung may mga duplicate sa magkabilang bahagi ng paghahati. Ipinapaliwanag ng gabay ng Google sa paghahati ng dataset kung paano maaaring magmukhang mas mahusay ang resulta ng isang test dahil sa mga duplicate.
Tingnan kung kailan nagsisimula ang panahon ng inspeksyon, paano magbibigay ng abiso, ano ang kahulugan ng hindi pagtugon at anong mga remedyo ang naaangkop. Halimbawa, nagbibigay ang bersyon 1.0 ng karaniwang lisensya ng ai.market para sa AI training ng pitong araw sa kalendaryo sa mamimili pagkatapos ng unang paghahatid upang abisuhan ang marketplace tungkol sa isang mahalagang hindi pagtugma sa listing. Binibigyan naman ng mga pangunahing tuntunin ng micro1, na na-update noong 12 Nobyembre 2026, ang micro1, bilang may hawak ng lisensya, ng 30 araw ng negosyo pagkatapos makumpleto ang paghahatid ayon sa manifest upang tanggihan ang data sa pamamagitan ng sulat. May hiwalay na pangyayaring nagpapasimula ng panahon kung aabisuhan ito ng supplier sa pamamagitan ng sulat na hindi maihahatid ang natitirang data. Nalalapat ang mga dokumento sa magkaibang transaksyon at may karagdagang kundisyon at exception. Suriin ang mga tuntunin at bersyong namamahala sa iyong order.
Maaaring ilista sa isang manifest ang mga inaasahang file at checksum para sa napagkasunduang bersyon ng dataset. Magkasundo kung paano mo ive-verify ang pinagmulan ng manifest, ihahambing ang listahan ng file nito sa mga dumating, at sisiyasatin ang mga nawawala, hindi inaasahan o hindi nagtutugmang file. Halimbawa, kung naglilista ang isang kathang-isip na manifest ng dalawang file ngunit isa lamang ang dumating, hindi nagiging kumpleto ang paghahatid dahil lamang tumutugma ang checksum ng file na iyon. Tinutukoy ng espesipikasyon ng BagIt ang pagkakaiba ng pagiging kumpleto at pag-validate ng checksum para sa isang format ng packaging. Ang pagtutugma ng checksum ay nangangahulugang ang kinalkulang digest ng isang file ay tumutugma sa nasa manifest; hindi nito sa sarili nito pinatutunayan ang pagkakakilanlan ng nagpadala, kawastuhan ng mga label, kung kinakatawan ng saklaw ang kabuuan o ang mga karapatang gamitin ang data. Hiwalay na suriin ang mga iyon.
Kapag ipinadala ng supplier ang susunod na bersyon, tingnan ang paano tanggapin ang mga paulit-ulit na paghahatid ng AI data.
Para sa isang detalyadong halimbawa ng pagsusuri sa pagtagas ng data mula sa test set at nawawalang konteksto, tingnan ang aming gabay sa pagsusuri ng dataset.
Tinutulungan ng sapien1 ang mga team na tukuyin ang saklaw ng mga requirement sa data, humanap ng mga posibleng source at suriin ang mga sample. Magsimula sa gawain, mga halimbawang kailangan mo at desisyong dapat suportahan ng isang sample. Maaaring gamitin ng mga may-ari ng data na naghahanda para sa isang pag-uusap ang aming gabay sa paghahanda para sa paglilisensya ng data.