Lumaktaw sa pangunahing nilalaman

Menu

Suriin kung akma sa gawain ang dataset para sa AI

Wika: Tagalog

Ibahagi ang nilalayon mong paggamit, isang schema at paglalarawan ng sample. Maaari naming tukuyin ang saklaw ng pagsusuri sa lawak ng sakop, kalidad at mga pahintulot, kasama ang mga natuklasang nagpapaliwanag kung aling mga paggamit ang sinusuportahan ng ebidensiya. Ilarawan ang iyong proyekto sa sapien1

Tinitingnan sa pagsusuri ng dataset kung magagamit ang data na mayroon ka na bilang batayan ng isang partikular na desisyon tungkol sa pagsasanay, paghahanap ng impormasyon o pagsusuri. Magsimula sa gagawing trabaho. Pagkatapos, tingnan ang mga halimbawa, ang konteksto at mga label ng mga ito, ang saklaw at kung paano hinati ang data.

Halimbawa, maaaring mukhang kumpleto ang test set kahit naglalaman ito ng mga kasong nakita na ng model habang sinasanay. Mahalaga ito kung layunin ng test na tantiyahin ang pagganap sa mga bagong kaso. Sa isang maayos na pagsusuri, itinatala kung ano ang nasuri, ano ang kailangang ayusin at aling mga konklusyon ang sinusuportahan ng natitirang ebidensiya.

Magsimula sa desisyong kailangang gawin

Isulat kung para saan mo gagamitin ang dataset. Maaaring sapat na batayan ang parehong mga rekord para sa isang gamit at kulang para sa iba.

Layuning paggamitTanong na kailangang sagutin
Pagsasanay o fine-tuningInilalarawan ba ng mga halimbawa at label ang asal na dapat matutuhan ng model?
Pagsusuri ng model o agentMasusuri ba ang inaasahang mga resulta, at hiwalay ba ang mga kaso sa test sa materyal na ginamit sa pagsasanay o pag-tune ng sistema?
Paghahanap ng impormasyonNapapanahon ba ang nilalaman, maiintindihan ba ito ng sistema, at makukuha ba nito kapag kailangan?

Itala ang bersyon ng dataset, pinagmulan, saklaw ng petsa, mga field at kilalang limitasyon. Maaaring ilarawan ng gabay sa paglalarawan ng dataset ang nilalaman, konteksto at metadata. Ihambing ito sa aktuwal na mga file at kaugnay na mga tuntunin sa paggamit.

Isang halimbawa ng pagsuri sa dokumentasyon ang repository na lerobot/svla_so101_pickplace sa revision f641879, na sinuri noong 17 Nobyembre 2026. May halimbawa ng metadata sa paglalarawan ng dataset na may codebase_version na v2.1 at mga path ng file na nakaayos ayon sa episode. Sa aktuwal na metadata ng parehong revision, ang codebase_version ay v3.0 at ang mga path ay tumutukoy sa mga file na nakaayos sa mga bloke. May file sa direktoryo ng data na sumusunod ang pangalan sa pattern na iyon. Bago umasa sa path na kinopya mula sa card, suriin ang metadata at mga file sa revision ng repository na gagamitin mo. Hindi natutukoy sa paghahambing na ito ang kalidad ng mga halimbawa o ang pagiging angkop ng mga ito sa pagsasanay.

Bago pagsamahin ang mga recording mula sa robot, alamin ang kahulugan ng mga channel ng aksiyon at estado at ang tagal na katumbas ng nakatakdang bilang ng mga step. Parehong nagtatakda ang FineART at isang simulated na ALOHA dataset ng aloha at mga vector ng aksiyon at estado na may 14 na elementong float32. Nagtatakda ang FineART ng 30 frame kada segundo at ang simulated na dataset ng 50. Kung bawat step ay sumusulong nang isang agwat ng frame ayon sa nakasaad na bilis, ang 15 step ay sumasaklaw sa 0.5 segundo sa isang dataset at 0.3 segundo sa isa. Suriin ang naitalang oras at kung paano pumipili ng mga step ang pipeline mo bago ituring na magkapantay ang mga saklaw mula sa dalawang pinagmulan. Metadata ng FineART · Metadata ng simulated na ALOHA

Suriin ang paghahati at konteksto gamit ang isang halimbawa

Ipagpalagay na gustong gamitin ng isang team ang dati nang may label na dataset ng customer support para suriin, bago ilunsad, ang agent na hahawak sa mga bagong pag-uusap. May 120 halimbawa ang dataset, 90 sa training set at 30 sa iminungkahing test set. Dapat may ID ng kaso, ID ng pag-uusap, bersyon ng patakarang naaangkop at inaasahang susunod na aksiyon sa bawat halimbawa.

Gawa-gawa ang halimbawang ito. Sinusuri ng team ang 30 kaso sa test at inihahambing ang mga ito sa training set. Ito ang mga natuklasan nila.

SinuriNatuklasanKahulugan nito sa desisyon
Mga naulit na kasoApat na kaso sa test ang nakumpirmang kopya ng mga kasong nasa training set.Nasa training data na ang apat na kaso.
Mga pag-uusap na nasa parehong setIba ang mga ID ng tatlo pang kaso sa test, pero kabilang ang mga ito sa mga pag-uusap na nasa training set.Dagdag na pagtutugma ito sa pagitan ng mga set sa isang test na para sa mga bagong pag-uusap.
Konteksto ng patakaranWalang link sa bersyon ng patakaran ang dalawa sa natitirang 23 kaso sa test.Hindi pa masusuri ng tagasuri kung tugma ang mga inaasahang aksiyon sa patakarang naaangkop gamit ang naitalang konteksto.

Pitong magkakaibang kaso sa test ang natukoy ng unang dalawang pagsusuri. Naiwan ang 23 na walang ganoong pagtutugma. Walang konteksto ng patakaran ang dalawa sa mga iyon, kaya may 21 kaso sa test na hindi minarkahan ng mga pagsusuring ito. Hindi sinasabi ng bilang na iyon kung tama ang mga label, sapat ang saklaw o sapat ang 21 kaso para magdesisyong maglunsad.

Dapat ipagpaliban ng team ang paggamit ng kasalukuyang test set bilang independiyenteng pagsusuri sa mga bagong pag-uusap bago maglunsad. Ihiwalay ang mga minarkahang kaso para suriin at kunin muli ang kulang na konteksto o lutasin ang problema. Alamin kung aling mga kaso ang nakita na ng model at ng development team. Hindi nabubura ng paglipat ng mga file ang naunang paggamit ng mga ito. Sa bagong paghahati, panatilihing buo ang bawat pag-uusap sa iisang set. Ihambing ang mga kaso sa test sa mga rekord ng data na ginamit sa pagsasanay at pagpili ng model. Kung hindi masuri ang pinagmulan ng dating training data, itala ang limitasyong iyon. Kung nakaimpluwensiya ang mga dating resulta sa pag-tune, maglaan ng mga bagong kasong hindi ginamit sa mga desisyong iyon. Kung kailangan, sanayin ulit ang model gamit ang magkakahiwalay na data.

Ipinapaliwanag ng gabay ng Google sa paghahati ng mga dataset kung bakit maaaring magmukhang mas maganda ang resulta sa training at test na may magkakaparehong halimbawa kaysa sa pagganap sa mga bagong halimbawa. Inilalarawan ng gabay ng scikit-learn sa grouped cross-validation kung paano panatilihing magkasama ang magkakaugnay na obserbasyon mula sa isang grupo kapag layunin ang pagsusuri sa mga grupong hindi pa nakikita. Depende sa tanong, maaaring pag-uusap, customer o dokumento ang grupo. Kung ang test ng mga caption ay dapat gumamit ng mga larawang wala sa training set, panatilihing magkasama ang lahat ng caption ng bawat larawan. Kapag hinati nang magkakahiwalay ang mga row ng caption, maaaring mapunta ang parehong larawan sa training at test. Para sa test na nakatuon sa data sa hinaharap, gumamit ng paghahating sumusunod sa oras upang hindi mapasama sa training ang mga obserbasyon mula sa panahong lampas sa test.

Ipagpalagay na gusto ring subukan ng team ang mga bagong pag-uusap pagkatapos ng takdang petsa. Sa bagong paghahati, may mga rekord ang pag-uusap A bago at pagkatapos ng petsang iyon. Pagkatapos ng petsa unang lumitaw ang naitalang kaso ng pag-uusap B. Puwedeng alisin ang A sa parehong set at ilaan ang B sa test, kung hindi pa nagamit ang mga rekord ng B sa pagsasanay o pagpili ng model. Panatilihin sa training set ang mga rekord bago ang takdang petsa at suriin kung may nagamit na dati saanman sa test set. Itala ang mga inalis at suriin kung saklaw ng natitirang mga kaso ang layuning paggamit. Maaaring suriin ang mga nagpapatuloy na pag-uusap sa hiwalay na test na sumusunod sa pagkakasunod-sunod sa oras. Kung kulang ang kasaysayan, maaaring hindi makumpirmang bago ang B.

Suriin muna kung ano talaga ang itinatalaga ng tool sa paghahati bago ipagpalagay na maiiwan ang hindi tinukoy na bahagi para sa hiwalay na pagsusuri. Halimbawa, itinatalaga ng function ng LeRobot para sa paghahati ayon sa bahagi, sa revision 7910c20 ang lahat ng 50 episode ng isang gawa-gawang set kapag ibinigay ang train: 0.6 na sinusundan ng test: 0.2. Napupunta ang 30 sa training at 20 sa test, at walang natitirang hindi nakatalaga. Maaaring iba ang kilos ng ibang tool o bersyon, at maaaring kailanganin ng maliliit na set ang pag-round o muling pagtatalaga. Suriin kung aling mga episode talaga ang nasa bawat set. Kung kailangang manatiling buo ang mga grupo, pumili at magtala ng mga listahan ng episode na gumagalang sa mga grupong iyon.

Sinusundan sa tala ng pananaliksik tungkol sa LeRobot kung paano nakakatanggap ang bagong Diffusion processor ng na-save na estadistika ng normalization. Inihahambing din ng tala ang mga saklaw ng mga estadistikang iyon sa buod ng mga episode sa training sa isang ipinagpalagay na paghahating nagbukod ng data para sa pagsusuri. Suriin ang pinagmulan at saklaw ng mga estadistikang nilo-load ng processor mo.

Suriin ang mga label at saklaw

Sa data na may label, ihambing ang isang sample ng mga inaasahang sagot sa mga tagubilin at ebidensiyang ginamit sa paggawa ng mga ito. Maaaring siyasatin ng eksperto ang kulang na konteksto, mga label na hindi magkakatugma at mga kaso kung saan talagang hindi tiyak ang tamang sagot. Itala ang mga hindi napagkasunduan at kung paano nilutas ang mga ito. Kapaki-pakinabang ang pagkakasundo ng mga tagasuri. Suriin ang pagiging tama ng label batay sa ebidensiya. Tinatalakay ng pananaliksik sa pamamahala sa kalidad ng annotation ang pagsusuri, pagkakasundo at pagpapasya sa hindi pagkakasundo bilang magkakahiwalay na bahagi ng proseso.

Kailangan ng mga numerikong label ng klase ng mapping mula sa mga ID tungo sa pangalan at kahulugan ng klase. Ihambing ang mga kahulugan at ID sa iba't ibang bersyon at set at sa mapping na inaasahan ng model. Itala ang anumang pagbabago sa mapping ng mga ID at kung paano mo hinahawakan ang mga nawawala o pinagsamang klase. Ayon sa gabay ng Ultralytics Platform sa mga dataset, maaaring gumalaw ang mga kasunod na ID kapag pinagsama o binura ang klase. Maaaring hindi na tumugma ang mga lumang export sa bagong listahan ng klase. Beripikahin ang mapping sa sarili mong mga export at pipeline.

Suriin kung saklaw ng dataset ang mga sitwasyong mahalaga sa layuning paggamit, gaya ng karaniwang mga kahilingan, mahahalagang eksepsiyon, mga wika, mga panahon o iba pang makabuluhang grupo. Maaaring kailangan ng dagdag na data o hiwalay na pagsusuri ang grupong kakaunti ang halimbawa. Maaaring magkakaiba ang bilang ng mga halimbawang kailangan ng bawat grupo.

Itala kung paano pinili ang mga halimbawang susuriin. Maaaring makatulong ang piling mga kaso para makita ang isang problema, pero hindi dapat ituring na error rate ng buong dataset ang rate ng mga kasong iyon. Inilalarawan ng gabay ng Google sa sampling kung paano maaaring baluktutin ng pagpili ang mga konklusyon tungkol sa mas malaking populasyon.

Kahit random ang sample, maaaring may hindi mapansing mali. Ipagpalagay na may hiwalay na gawa-gawang batch ng 120 rekord, at anim ang may maling label. Kung random na pipili ka ng 20 magkakaibang rekord na pantay ang tsansa at hindi muling maisasama sa pagpili ang napili na, walang isa man sa anim sa humigit-kumulang 33% ng mga sample. Kapag 47 rekord ang pinili, bumababa sa mas mababa sa 5% ang tsansang walang matukoy na kahit isa sa anim, kung matutukoy ng mga tagasuri ang bawat maling label sa mga rekord na napili. Halimbawa ito ng pagpaplanong nagpapalagay na may anim na mali. Hindi matitiyak sa sample na walang nakitang mali na eksaktong anim ang mali o walang mali sa natitirang mga rekord. Piliin ang laki ng sample batay sa dalas ng mali at sa tsansang hindi makita ito na mahalaga sa desisyon mo. Itala kung paano pinili at sinuri ang mga halimbawa. Tinatalakay ng panimulang gabay ng NIST sa sampling ang pagpili at laki ng sample. Ipinapaliwanag ng pananaliksik tungkol sa kalidad ng annotation ang estadistikal na pagtataya ng kalidad at sampling para sa pagtanggap.

Ihambing ang mga score sa pagbasa sa iba’t ibang wika

Magpasya kung ano ang babaguhin

Gawing mga hakbang na magagawa ng team ang mga natuklasan.

  • Ayusin. Kunin muli ang kulang na konteksto, itama ang mga nakumpirmang mali o baguhin ang mga tagubilin sa paglalagay ng label. Pagkatapos, suriing muli ang mga apektadong rekord.
  • Limitahan. Gamitin ang dataset para lamang sa mga gawain o subset na kaya nitong suportahan at ilarawan ang mga kilalang kakulangan.
  • Ipagpaliban ang paggamit. Huwag munang isama ang dataset sa planong pagsasanay o desisyong maglunsad hangga't hindi nalulutas ang mahalagang problema.
  • Magdagdag ng data. Mangolekta o humanap ng mga kaso para sa mga sitwasyong kulang, o gumawa ng bagong test set na hindi pa nagagamit sa pagsasanay o pag-tune.

Panatilihing matutukoy ang orihinal at binagong mga bersyon. Itala ang mga pagsusuri, paraan ng pagpili, natuklasan, desisyon ng mga tagasuri at natitirang tanong para maunawaan ng ibang team kung ano ang binago at kung bakit.

Beripikahin ang isang muling isinulat na Parquet dataset

Kapag muling isinulat ang mga file na inihatid sa format na Parquet, tukuyin ang mga katangiang kailangang mapanatili ng mga bagong file para sa gawain mo. Itala ang mga bersyon ng orihinal at binagong file at magsuri gamit ang reader na ginagamit ng team sa susunod na yugto. Gawa-gawa ang data sa mga halimbawang ito.

  • Mga field ng pinagmulan. I-save ang schema ng bawat orihinal na file kung kailangan mong matukoy ang pagkakaiba ng isang nawawalang field at ng tahasang null. Sa halimbawa gamit ang DuckDB 1.4.4, ang pagpapalit kung aling pinagmulan ang walang field ay nagbigay ng magkaparehong pinagsamang mga file kahit pinanatili ang pangalan ng mga pinagmulan. Naipakita ng mga orihinal na schema ang parehong pagbabago. Pagsasama ng schema sa DuckDB
  • Mga pares ng kaso at label. Suriin kung kumpleto at natatangi ang mga ID ng kaso, itugma ang mga ito sa inaasahang listahan at ihambing ang mga label ayon sa ID. Sa halimbawang may walong row, pareho ang metadata sa dulo ng file at bilang ng bawat label sa dalawang muling pagsulat. Sa isa, lumipat ang dalawang label sa ibang kaso. Sa isa pa, nanatili ang bawat pares nang baguhin ang pagkakasunod-sunod ng buong mga row. Ayos ng Parquet file
  • Mga numerong na-decode. Suriin ang logical type at ihambing ang mga numerong mababasa mo. Sa halimbawang decimal, naging 1.234 ang 12.34 nang baguhin ang scale mula 2 tungo sa 3, kahit nanatili ang nakaimbak na mga integer at mga byte sa bloke ng column. Espesipikasyon ng decimal sa Parquet
  • Mga lokal na petsa. Kung pinagpapangkat ng report ang mga event ayon sa lokal na araw, ihambing ang araw ng bawat event gamit ang napagkasunduang time zone. Sa PyArrow 26.0.1, nanatili ang orihinal na mga sandali ng dalawang event matapos muling isulat ang data nang walang Arrow schema metadata. Nang basahin sa UTC, parehong napunta sa Hulyo 1 ang dalawang event. Ibinalik ng napagkasunduang time zone ng New York ang pagtatalaga sa Hunyo 30 at Hulyo 1. Mga opsiyon sa pagsulat gamit ang PyArrow

Ibatay ang bawat pagsusuri sa napagkasunduang katangian. Kung puwedeng magbago ang pagkakasunod-sunod, papasa sa pagsusuri ng kaso at label ang pagbabago ng ayos na nagpapanatili ng mga pares. Kung hinihingi ng kasunduan na masuri ang presensiya ng field sa bawat pinagmulan at hindi makuha ang mga orihinal na schema, ipagpaliban ang pagsusuring iyon hanggang mabawi ang ebidensiya.

Suriin ang conversion ng COCO data

Kapag kino-convert ang COCO dataset para sa object detection, ihambing ang mga mapping ng larawan sa orihinal at sa export. Suriin kung may natatanging numerikong ID sa export ang bawat larawan mula sa pinagmulan, at kung tumutukoy pa rin sa tamang larawan ang mga annotation at prediction. Kapag naka-configure ang na-save na ID mapping, kino-convert ng nasubok na FiftyOne exporter ang 01 at 1 sa parehong integer. Pinananatili ng nasubok na COCO index ang huling row ng larawan para sa ID na iyon at pinapangkat sa ilalim nito ang mga annotation. Lutasin ang mga dobleng ID bago magkuwenta ng score. Exporter ng FiftyOne · indeks ng COCO

Panatilihin ang mga orihinal na ID kung maaari. Kung kailangang baguhin ang mga ito, panatilihin ang relatibong pagkakasunod-sunod ng mga numero at kuwentahin muli ang average precision (AP) sa orihinal at na-convert na data. Gamitin ang parehong revision at setting ng evaluator at ang mga score ng prediction bago i-round. Itugma ang mga prediction sa tamang mga larawan sa bawat pagtakbo. Isama ang isang maliit na tsek na may dalawang detection sa parehong kategorya na nasa magkaibang larawan at may parehong confidence score. Dapat tumugma ang isa sa reference annotation at dapat false positive ang isa pa. Nagsasaayos ng mga ID ang nasubok na COCO evaluator at pinananatili ang ayos na iyon kapag pareho ang score ng mga detection mula sa magkaibang larawan. Kaya maaaring magbago ang AP kapag pinalitan ang mga numero ng ID kahit pareho pa rin ang mga tugma ng detection. Lutasin ang anumang pagkakaiba sa score bago ihambing ang dalawang bersyon. Pagkakasunod-sunod ng larawan sa COCO · Pagsasama-sama ng score sa COCO

Tumutulong ang sapien1 sa mga team na suriin ang mga dataset at magplano ng pagsusuri batay sa gawaing kailangang gawin ng AI. Pagkatapos suriin ang data, tingnan ang aming gabay sa pagsusuri ng agent. Kung may nakitang kulang na data, makakatulong ang aming gabay sa paghahanap ng data sa pagtukoy ng kailangan mong hanapin.