Sari la conținutul principal

Meniu

Evaluează dacă setul de date pentru IA este potrivit pentru sarcină

Limbă: Română

Spune-ne cum intenționezi să utilizezi materialul și trimite-ne o schemă și o descriere a eșantionului. Putem defini o evaluare a acoperirii, calității și permisiunilor, ale cărei constatări să explice ce utilizări sunt susținute de dovezi. Descrie proiectul tău echipei sapien1

Evaluarea unui set de date verifică dacă datele pe care le ai deja pot susține o anumită decizie de antrenare, căutare sau evaluare. Pornește de la sarcina dorită, apoi examinează exemplele, contextul și etichetele lor, acoperirea și modul în care au fost împărțite.

De exemplu, un set de testare poate părea complet, deși conține cazuri pe care modelul le-a întâlnit deja la antrenare. Acest lucru contează când testul trebuie să estimeze performanța pe cazuri noi. O verificare utilă arată ce ai controlat, ce trebuie remediat și ce concluzii pot susține dovezile disponibile.

Pornește de la decizia pe care trebuie să o iei

Consemnează scopul în care vei folosi setul de date. Aceleași înregistrări pot fi utile într-un scop și insuficiente în altul.

ScopO întrebare la care trebuie să răspunzi
Antrenare sau ajustare finăExemplele și etichetele descriu comportamentul pe care modelul trebuie să îl învețe?
Evaluarea unui model sau agentRezultatele așteptate pot fi verificate? Cazurile de testare sunt independente de materialele folosite la antrenarea sau ajustarea sistemului?
Căutare de informațiiConținutul este actual, poate fi interpretat și este disponibil când sistemul are nevoie de el?

Consemnează versiunea setului, sursa, intervalul de date, câmpurile și restricțiile cunoscute. O fișă a setului de date poate documenta conținutul, contextul și metadatele. Compar-o cu fișierele efective și cu termenii de utilizare relevanți.

Un exemplu concret de verificare a documentației este depozitul lerobot/svla_so101_pickplace la revizia f641879, consultat în 17 noiembrie 2026. Fișa setului de date conține un exemplu de metadate cu codebase_version v2.1 și căi către fișiere organizate pe episoade. Metadatele efective din aceeași revizie indică codebase_version v3.0 și căi către fișiere organizate pe blocuri. Directorul cu date conține un fișier denumit după acest model. Înainte de a te baza pe o cale preluată din fișă, verifică metadatele și fișierele din revizia pe care urmează să o folosești. Această comparație nu stabilește calitatea exemplelor sau adecvarea lor pentru antrenare.

Înainte de a combina înregistrările de la roboți, verifică ce reprezintă canalele de acțiune și de stare și cât timp acoperă un număr fix de pași. FineART și un set ALOHA simulat declară aloha și vectori de acțiune și stare de tip float32 cu 14 elemente. FineART declară 30 de cadre pe secundă, iar setul simulat declară 50. Dacă fiecare pas avansează cu intervalul dintre două cadre la frecvența declarată, o fereastră de 15 pași acoperă 0,5 secunde în primul set și 0,3 secunde în celălalt. Verifică informațiile temporale înregistrate și modul în care fluxul tău alege pașii înainte de a trata ferestrele din ambele surse ca echivalente. Metadate FineART · Metadate ALOHA simulat

Verifică împărțirea datelor și contextul pe un exemplu

Să presupunem că o echipă vrea să folosească un set existent de date de asistență pentru clienți, deja etichetat, pentru a verifica înainte de lansare un agent care gestionează conversații noi. Setul are 120 de exemple, dintre care 90 sunt pentru antrenare și 30 fac parte din setul de testare propus. Fiecare exemplu ar trebui să conțină ID-ul cazului, ID-ul conversației, versiunea aplicabilă a regulilor și următoarea acțiune așteptată.

Exemplul este fictiv. Echipa verifică cele 30 de cazuri de testare și le compară cu setul de antrenare. Iată ce constată.

VerificareConstatareCe înseamnă pentru această decizie
Cazuri repetateSe confirmă că patru cazuri de testare copiază cazuri din setul de antrenare.Cele patru cazuri apar deja în datele de antrenare.
Conversații comuneAlte trei cazuri de testare au ID-uri diferite, dar fac parte din conversații prezente în setul de antrenare.Sunt potriviri suplimentare între subseturi într-un test destinat conversațiilor noi.
Contextul regulilorDouă dintre cele 23 de cazuri rămase nu au un link către versiunea regulilor.Pe baza contextului înregistrat, un evaluator nu poate verifica încă acțiunile așteptate prin raportare la regulile aplicabile.

Primele două verificări semnalează șapte cazuri distincte. Rămân 23 fără asemenea potriviri. Două dintre ele nu au contextul regulilor, astfel că rămân 21 de cazuri de testare nesemnalate de aceste verificări. Numărul nu stabilește dacă etichetele sunt corecte, dacă acoperirea este suficientă sau dacă 21 de cazuri sunt suficiente pentru o decizie de lansare.

Echipa ar trebui să amâne folosirea setului actual pentru verificarea independentă a conversațiilor noi înainte de lansare. Separă cazurile semnalate pentru revizuire și recuperează contextul lipsă sau rezolvă problema. Verifică ce cazuri au văzut deja modelul și echipa de dezvoltare. Rearanjarea fișierelor nu anulează utilizarea anterioară. La o nouă împărțire, păstrează fiecare conversație în același subset și compară cazurile de testare cu datele documentate de antrenare și de selecție a modelului. Dacă proveniența datelor de antrenare anterioare nu poate fi verificată, notează această limitare. Dacă rezultatele existente au influențat ajustarea, rezervă cazuri noi, nefolosite în acele decizii. Dacă este necesar, antrenează din nou modelul pe date separate.

Ghidul Google despre împărțirea datelor explică de ce exemplele duplicate din antrenare și testare pot da impresia unor rezultate mai bune decât performanța pe exemple noi. Ghidul scikit-learn despre validarea încrucișată pe grupuri descrie cum să păstrezi împreună observațiile înrudite din același grup când evaluezi performanța pe grupuri noi. Grupul potrivit depinde de întrebare. Poate fi o conversație, un client sau un document. Dacă un test de descriere a imaginilor trebuie să folosească imagini absente din setul de antrenare, ține toate descrierile aceleiași imagini împreună. Împărțirea separată a rândurilor de descriere poate duce aceeași imagine în ambele seturi. Pentru un test orientat spre date viitoare, folosește o împărțire care respectă timpul, astfel încât antrenarea să nu cuprindă observații ulterioare perioadei de testare.

Să presupunem că echipa vrea să testeze și conversații noi după o dată-limită. Într-o nouă împărțire, conversația A are înregistrări de ambele părți ale datei-limită. Primul caz înregistrat al conversației B apare după acea dată. O opțiune este să excluzi A din ambele seturi și să rezervi B pentru testare, dacă înregistrările lui B nu au fost folosite anterior la antrenare sau la selecția modelului. Păstrează în setul de antrenare datele dinaintea limitei și verifică dacă vreun caz din întregul set de testare a mai fost folosit. Consemnează excluderile și verifică dacă situațiile rămase acoperă utilizarea prevăzută. Conversațiile în curs pot fi evaluate printr-un test separat care respectă cronologia. Dacă istoricul disponibil este incomplet, este posibil să nu poți confirma că B este nouă.

Verifică repartizarea efectivă a instrumentului înainte de a presupune că o proporție nespecificată va fi păstrată separat pentru evaluare. De exemplu, funcția LeRobot de împărțire pe proporții la revizia 7910c20 repartizează toate cele 50 de episoade dintr-un set fictiv dacă primește train: 0.6 urmat de test: 0.2. Repartizează 30 pentru antrenare și 20 pentru testare, fără episoade rămase. Alte instrumente sau versiuni pot avea alt comportament. Seturile mici pot necesita rotunjire sau redistribuire. Verifică apartenența efectivă a episoadelor. Dacă grupurile trebuie păstrate împreună, alege și consemnează liste de episoade care le păstrează intacte.

O notă de cercetare despre LeRobot arată cum un procesor Diffusion nou poate primi statistici de normalizare salvate și compară intervalele lor cu rezumatele episoadelor de antrenare într-o împărțire ipotetică ce păstrează o parte pentru evaluare. Verifică originea și domeniul statisticilor pe care le încarcă procesorul tău.

Verifică etichetele și acoperirea

Pentru datele etichetate, compară un eșantion de răspunsuri așteptate cu instrucțiunile și dovezile pe baza cărora au fost stabilite. Un specialist poate examina contextul lipsă, etichetele inconsecvente și cazurile în care răspunsul corect este într-adevăr ambiguu. Consemnează dezacordurile și modul în care au fost rezolvate. Acordul dintre evaluatori este util, iar corectitudinea etichetei trebuie verificată pe baza dovezilor. Cercetarea privind gestionarea calității adnotărilor tratează verificarea, acordul și rezolvarea dezacordurilor ca etape distincte.

Etichetele numerice de clasă necesită o corespondență între ID-uri și numele și definițiile claselor. Compară definițiile și ID-urile între versiuni și subseturi, precum și cu maparea așteptată de model. Documentează eventualele modificări ale mapării ID-urilor și cum tratezi clasele lipsă sau comasate. Ghidul Ultralytics Platform pentru seturi de date arată că unirea sau eliminarea unor clase poate deplasa ID-urile următoare. Exporturile vechi pot să nu mai corespundă listei actualizate. Verifică maparea în exporturile și în fluxul tău.

Verifică dacă setul acoperă situațiile relevante pentru utilizarea prevăzută, de exemplu solicitări frecvente, excepții importante, limbi, perioade sau alte grupuri semnificative. Un grup cu puține exemple poate necesita date suplimentare sau o analiză separată. Numărul necesar de exemple poate diferi între grupuri.

Documentează cum au fost alese exemplele pentru verificare. Un set ales manual poate scoate la iveală o problemă, dar rata lui de eroare nu trebuie folosită ca rată de eroare pentru întregul set de date. Ghidul Google despre eșantionare descrie cum selecția poate distorsiona concluziile despre o populație mai mare.

Și un eșantion aleatoriu poate rata erori. Să presupunem un lot fictiv separat de 120 de înregistrări, dintre care șase au etichete greșite. Dacă alegi aleatoriu, cu probabilități egale și fără înlocuire, 20 de înregistrări distincte, aproximativ 33% dintre eșantioane nu vor conține niciuna dintre cele șase. Alegerea a 47 de înregistrări reduce sub 5% probabilitatea de a le rata pe toate șase, dacă evaluatorii recunosc fiecare etichetă greșită din înregistrările alese. Acesta este un exemplu de planificare care presupune șase erori. Un eșantion fără erori nu stabilește că în total sunt exact șase și nu dovedește că restul datelor sunt corecte. Alege mărimea eșantionului în funcție de frecvența erorilor și de probabilitatea de a le rata care contează pentru decizia ta. Notează cum au fost alese și verificate exemplele. Introducerea NIST în eșantionare prezintă selecția și mărimea eșantionului. Cercetările despre calitatea adnotărilor explică estimarea statistică a calității și eșantionarea pentru decizii de acceptare.

Compară scorurile de lectură între limbi

Decide ce trebuie schimbat

Transformă constatările în acțiuni pe care le poate lua echipa.

  • Remediază. Recuperează contextul lipsă, corectează erorile verificate sau actualizează instrucțiunile de etichetare, apoi verifică din nou înregistrările afectate.
  • Restricționează. Folosește setul de date numai pentru sarcinile sau segmentele pe care le poate susține și descrie lipsurile cunoscute.
  • Amână folosirea. Exclude setul din antrenarea planificată sau din decizia de lansare până la remedierea problemei importante.
  • Adaugă date. Colectează sau caută exemple pentru situațiile lipsă ori creează un nou set de testare care nu a fost folosit la antrenare sau la ajustare.

Păstrează posibilitatea de a identifica versiunea originală și pe cea revizuită. Consemnează verificările, metoda de selecție, constatările, deciziile evaluatorilor și întrebările încă deschise, astfel încât altă echipă să înțeleagă ce s-a schimbat și de ce.

Verifică un set de date Parquet rescris

Dacă o livrare Parquet este rescrisă, stabilește ce proprietăți trebuie să păstreze noile fișiere pentru sarcina ta. Consemnează versiunile fișierelor originale și revizuite. Rulează verificările cu instrumentul de citire pe care echipa îl folosește în etapa următoare. Exemplele de mai jos folosesc date inventate.

  • Câmpurile din surse. Salvează schema fiecărui fișier original dacă trebuie să distingi un câmp absent de o valoare null explicită. În exemplul nostru cu DuckDB 1.4.4, schimbarea sursei din care lipsea câmpul a produs fișiere combinate identice, chiar dacă numele surselor au fost păstrate. Schemele originale au evidențiat ambele modificări. Combinarea schemelor în DuckDB
  • Perechile caz–etichetă. Verifică prezența și unicitatea ID-urilor cazurilor, compară-le cu lista așteptată și verifică etichetele după ID. Cele două rescrieri ale exemplului cu opt rânduri au păstrat aceleași metadate de la finalul fișierului și același număr de exemple pentru fiecare etichetă. Într-o rescriere, două etichete au fost mutate la alte cazuri. În cealaltă, schimbarea ordinii rândurilor complete a păstrat fiecare pereche. Structura fișierului Parquet
  • Numerele decodificate. Verifică tipul logic și compară valorile numerice pe care le vei citi. În exemplul cu numere zecimale, schimbarea scalei de la 2 la 3 a transformat 12,34 în 1,234, deși valorile întregi stocate și octeții blocului de coloană au rămas la fel. Specificația tipului zecimal Parquet
  • Datele în fusul local. Când un raport grupează evenimente după ziua locală, compară ziua fiecărui eveniment în fusul orar convenit. Cu PyArrow 26.0.1, două evenimente și-au păstrat momentele inițiale după rescrierea fără metadatele schemei Arrow. Citirea în UTC le-a plasat pe ambele la 1 iulie. Fusul orar convenit, New York, a restabilit repartizarea inițială pe 30 iunie și 1 iulie. Opțiunile de scriere PyArrow

Bazează fiecare verificare pe proprietatea convenită. Dacă ordinea se poate schimba, o reordonare care păstrează perechile trece verificarea caz–etichetă. Dacă contractul cere verificarea prezenței câmpurilor în fiecare sursă și schemele originale nu sunt disponibile, amână verificarea până recuperezi dovezile.

Verifică conversia datelor COCO

Când convertești un set COCO de detecție a obiectelor, compară maparea imaginilor originale cu cea din export. Verifică dacă fiecare imagine-sursă are un ID numeric unic în export și dacă adnotările și predicțiile se referă în continuare la imaginea corectă. Când este configurată o mapare salvată a ID-urilor, exportatorul FiftyOne testat convertește 01 și 1 în același număr întreg. Indexul COCO testat păstrează ultimul rând de imagine pentru acel ID și grupează adnotările sub el. Rezolvă ID-urile duplicate înainte de calculul scorului. Exportatorul FiftyOne · Indexul COCO

Păstrează ID-urile originale dacă este posibil. Dacă trebuie schimbate, păstrează ordinea numerică relativă și recalculează precizia medie (average precision, AP) pentru datele originale și cele convertite. Folosește aceeași revizie și aceleași setări ale evaluatorului, precum și scoruri de predicție nerotunjite. În fiecare rulare, asociază predicțiile cu imaginile corespunzătoare. Include o verificare pe două detecții din aceeași categorie, pe imagini diferite, cu scoruri de încredere egale. Una trebuie să corespundă unei adnotări de referință, iar cealaltă să fie un fals pozitiv. Evaluatorul COCO testat sortează ID-urile și păstrează această ordine când detecțiile de pe imagini diferite au scoruri egale. Renumerotarea poate astfel modifica AP, chiar dacă potrivirile detecțiilor rămân aceleași. Rezolvă orice diferență de scor înainte de a compara cele două versiuni. Ordinea imaginilor în COCO · Agregarea scorurilor în COCO

sapien1 ajută echipele să evalueze seturi de date și să pregătească evaluări adaptate muncii pe care trebuie să o facă un sistem de IA. După verificarea datelor, consultă ghidul nostru de evaluare a agenților. Dacă verificarea relevă lipsuri în date, ghidul de găsire a surselor de date te poate ajuta să definești ce trebuie căutat.