Sari la conținutul principal

Meniu

Găsirea datelor pentru antrenarea și evaluarea sistemelor AI

Limba paginii: Română

Descrie sarcina modelului, materialul de care ai nevoie și utilizarea permisă a acestuia. sapien1 te poate ajuta să identifici surse potențiale și să definești amploarea unui eșantion, împreună cu criteriile pe baza cărora să decizi dacă mergi mai departe. Descrie proiectul tău echipei sapien1

Căutați date potrivite pentru sarcina pe care sistemul dumneavoastră de AI trebuie să o îndeplinească. sapien1 vă ajută să formulați cerințele, să identificați surse posibile și să evaluați dacă un set de date este util pentru antrenare, evaluare sau căutarea de informații.

Porniți de la comportamentul pe care vreți să-l îmbunătățiți. Poate fi înțelegerea unui document, finalizarea unui flux de lucru, folosirea unui instrument sau interpretarea unei scene. Această alegere stabilește ce exemple, ce context și ce verificări de calitate sunt necesare.

Stabiliți la ce vor folosi datele

Aceeași colecție poate avea mai multe utilizări. Exemplele de antrenare învață sistemul un anumit comportament. Exemplele de evaluare îl testează. O colecție pentru căutarea de informații pune la dispoziția sistemului materiale pe care le poate consulta când răspunde la o întrebare.

Descrieți utilizarea dorită înainte de a compara sursele. Pentru un agent de asistență, un exemplu de antrenare poate reuni o solicitare, regula aplicabilă și acțiunea efectuată. O sarcină de evaluare are nevoie și de o metodă clară de verificare a deciziei. O colecție pentru căutarea de informații trebuie să conțină regulile în sine și suficient context pentru a identifica versiunea aplicabilă.

Ce include o descriere a cerințelor pentru date

CerințăCe trebuie descris
SarcinăCe trebuie să facă modelul sau agentul și unde întâmpină în prezent dificultăți
AcoperireDomeniile, limbile, regiunile, perioadele și cazurile dificile relevante
Forma datelorDocumente, cod, înregistrări, materiale audio, imagini, materiale video, urme de utilizare a instrumentelor sau o combinație a acestora
ContextEtichete, marcaje temporale, relații, instrucțiuni sau rezultate necesare pentru interpretarea unui exemplu
Utilizare preconizatăAntrenare, evaluare sau căutarea de informații, inclusiv modul de acces la date
AcceptareCe trebuie să demonstreze un eșantion util înainte de extinderea proiectului

În prima descriere pot rămâne și întrebări fără răspuns. O sarcină concretă și câteva exemple reprezentative oferă, de obicei, un punct de plecare mai bun decât un simplu număr-țintă de fișiere.

Evaluați un eșantion înainte de a extinde proiectul

Verificarea unui eșantion poate scoate la iveală context lipsă, etichete neconsecvente, duplicate și situații necesare pe care datele nu le acoperă. Echipa poate verifica și dacă formatul propus funcționează în propriul flux de lucru. Pentru un exemplu de verificare, consultați ghidul nostru de achiziție a datelor de antrenare pentru AI.

Înregistrați sursa și utilizările permise împreună cu evaluarea tehnică. Descrierea unui set de date trebuie să clarifice conținutul și limitările relevante. Pentru documentare, puteți folosi recomandările Hugging Face privind fișele seturilor de date.

Pentru a vedea cum pot proprietarii descrie o colecție și verifica permisiunile, citiți ce trebuie pregătit înainte de a licenția datele companiei.

Dacă dețineți o colecție despre care doriți să discutăm, descrieți datele dumneavoastră.

Într-un proiect cu sapien1, stabiliți împreună amploarea activității de căutare a datelor, cum verificați eșantionul, ce trebuie livrat și criteriile de acceptare. Pasul următor poate fi o colectare țintită, o evaluare a datelor pe care le aveți deja sau un set de sarcini pentru evaluarea agenților.