Przejdź do treści głównej

Menu

Jak kupić dane treningowe dla AI

Język: Polski

Powiedz nam, czego musi nauczyć się Twój model i jak ocenisz przydatność próbki. Możemy omówić odpowiednie źródła i dowody do przeanalizowania, zanim zdecydujesz, czy uzyskać licencję na zbiór. Opisz swój projekt zespołowi sapien1

Możesz uzyskać licencję na istniejący zbiór danych, nawiązać bezpośrednią współpracę z właścicielem danych lub zlecić zebranie danych do określonego zadania. Przed podjęciem zobowiązania określ, czego model ma się nauczyć, przetestuj próbkę pod kątem tego wymagania i sprawdź, czy proponowane warunki obejmują planowane zastosowanie.

Warto zapytać nie tylko „Ile danych jest dostępnych?”. Ważne jest również, czy rekordy zawierają przykłady i kontekst, które Twój zespół może wykorzystać, oraz czy uzgodniona licencja obejmuje osoby, systemy i cele związane z tym zastosowaniem.

Wybierz, skąd pozyskasz dane

SposóbKiedy warto go rozważyćO co najpierw zapytać
Istniejący zbiór danychPotrzebujesz zbioru, który może już istnieć.Jaka wersja, jakie pola, jaki okres i jakie warunki wykorzystania są objęte ofertą?
Bezpośrednia umowa z właścicielem danychJedna organizacja dysponuje odpowiednimi rekordami lub treściami.Kto może wyrazić zgodę na proponowane wykorzystanie i jakie materiały obejmuje umowa?
Zebranie lub przygotowanie danych na zamówienieW istniejących materiałach brakuje ważnych scenariuszy, formatów lub etykiet.Co zostanie zebrane lub przygotowane, jak będzie sprawdzana jakość i co będzie można później wykorzystać?
Publiczny zbiór danychDostępny zbiór może pasować do zadania lub posłużyć do wstępnego porównania.Co jego dokumentacja mówi o źródle, ograniczeniach i dozwolonym wykorzystaniu?

Na przykład Opendatabay prezentuje platformę z ofertami zbiorów danych, a Clickworker opisuje usługi zbierania i anotowania danych na zamówienie. To punkty wyjścia do dalszej analizy; sprawdź ofertę i warunki dotyczące konkretnych danych, których potrzebujesz.

Nasz przewodnik po pozyskiwaniu danych wyjaśnia, jak opisać zadanie, zakres i format przed nawiązaniem kontaktu ze źródłem.

Ustal, co powinien zawierać każdy przykład

Zapisz, jakiego zachowania oczekujesz i jakich informacji potrzebujesz, aby je ocenić. W przypadku agenta wsparcia rekord może wymagać zgłoszenia klienta, obowiązującej w danym czasie polityki, podjętego działania i jego wyniku. W przypadku modelu przetwarzającego dokumenty ważnymi polami mogą być obrazy stron, wyodrębniony tekst, układ i zweryfikowane etykiety.

Jeśli próbka dokumentów zawiera oznaczone ramki, sprawdź, czy pokrywają się one z właściwymi obszarami na dostarczonych obrazach. Niektóre formaty wyrażają pozycje jako ułamki wymiarów strony, inne używają pikseli. Potwierdź stronę, wersję obrazu, jednostki, początek układu współrzędnych oraz wszelkie zmiany rozmiaru, kadrowanie lub obrót, a następnie nałóż przykładowe ramki, aby sprawdzić ich położenie. Sprawdź też, czy etykiety opisują właściwe obszary.

Poproś o opis dokładnej wersji zbioru danych: jego źródła, rozmiaru i jednostek, zakresu czasowego, formatów, etykiet, znanych wyłączeń i historii przetwarzania. Wytyczne Hugging Face dotyczące kart zbiorów danych opisują, jak karta może dokumentować zawartość, kontekst i metadane, takie jak licencja, język i rozmiar. Potraktuj te pola jako informacje do przejrzenia wraz z dokumentacją źródłową.

Przetestuj próbkę pod kątem swoich wymagań

Uzgodnij próbkę i zakres kontroli, zanim zdecydujesz, czy ją rozszerzyć. Uwzględnij zarówno typowe sytuacje, z którymi zetknie się model, jak i trudne przypadki istotne dla zadania. Zapisz, w jaki sposób wybrano próbkę i jakie części proponowanego zbioru reprezentuje.

Warunki platformy Origin Lab, sprawdzone 18 listopada 2026 r., ograniczają wykorzystanie zdefiniowanych w nich próbek z platformy do wewnętrznej oceny i zabraniają używania ich do testowania lub oceny systemu AI, chyba że odpowiednia umowa handlowa zawarta przez Origin Lab wyraźnie stanowi inaczej. Ograniczenie dotyczące próbek nie obejmuje odrębnie zdefiniowanych materiałów Bench Materials, do których mają zastosowanie osobne warunki. Przed przeglądaniem, testowaniem, trenowaniem na próbce lub jej udostępnieniem sprawdź warunki dotyczące konkretnej próbki oraz wszelkie obowiązujące umowy.

W przypadku próbki nagrań mowy ze znacznikami czasu dla słów zapytaj, do którego nagrania się odnoszą i jakiej używają jednostki czasu. Jeśli znaczniki odnoszą się do kopii z usuniętymi fragmentami ciszy, poproś o identyfikator nagrania źródłowego oraz mapę przyporządkowującą zachowane fragmenty do oryginalnej osi czasu. Sprawdź słowo występujące po cięciu wewnątrz nagrania. W fikcyjnej próbce, która łączy sekundy 2–4 i 7–9 nagrania źródłowego bez wstawiania dodatkowego odstępu, 2,5 sekundy w próbce odpowiada 7,5 sekundy w nagraniu źródłowym. Dodanie dwusekundowego przesunięcia pierwszego fragmentu daje 4,5 sekundy, czyli punkt wewnątrz usuniętej przerwy. Mapowanie znaczników czasu w NeMo Curator

Sprawdź, jak w dostarczonych danych oznaczono słowa, których przedziały czasowe przebiegają przez miejsce połączenia fragmentów. W tej samej fikcyjnej próbce testowana funkcja pomocnicza faster-whisper zastosowała jedno przesunięcie do obu końców przedziału przecinającego takie połączenie i umieściła jego początek wewnątrz usuniętej przerwy. Jeśli Twoje zastosowanie wymaga ciągłego przedziału w oryginalnym nagraniu, przed zaakceptowaniem takich przypadków uzgodnij sposób ich oznaczania i weryfikacji. Przywracanie znaczników czasu w faster-whisper · Obliczanie przesunięcia w faster-whisper

Rozważmy fikcyjny przykład. Zespół chce dostroić agenta wsparcia, który rekomenduje następny krok w obsłudze zgłoszenia zwrotu. Dostawca proponuje zbiór spraw obsługi klienta. Zespół prosi o 12 przykładów diagnostycznych: sześć typowych zwrotów i sześć wyjątków. Na potrzeby tej pierwszej weryfikacji wymaga, aby każdy przykład zawierał zgłoszenie klienta, link do obowiązującej w danym czasie wersji polityki oraz zapisany wynik.

KontrolaWymaganie dla tej próbkiPrzykładowy wynik
Zgłoszenie klientaObecne we wszystkich 12 przykładachObecne w 12 z 12 przykładów
Obowiązująca wersja politykiLink obecny we wszystkich 12 przykładachLink obecny w 10 z 12 przykładów; brakuje go w dwóch przypadkach wyjątkowych
Zapisany wynikObecne we wszystkich 12 przykładachObecny w 11 z 12 przykładów; w jednym typowym przypadku brakuje wyniku

Próbka nie spełnia dwóch kontroli określonych przez zespół. Następny krok to ustalenie, czy brakujące linki do polityki i wynik można odzyskać, a następnie sprawdzenie poprawionej próbki. Jeśli nie jest to możliwe, zespół może zmienić wymaganie lub poszukać innego źródła. Zapisany wynik nie oznacza automatycznie prawidłowej decyzji: osoba weryfikująca dane z wiedzą dziedzinową powinna również porównać wyniki z obowiązującą polityką.

Liczby te dotyczą wyłącznie 12 wybranych przypadków. Nie są oszacowaniem częstości błędów w całym zbiorze. Aby ocenić szerszy zakres danych, zapytaj o rozkład zbioru między istotnymi scenariuszami i uzgodnij kolejną próbkę wybraną udokumentowaną metodą. Wytyczne Google dotyczące jakości danych i doboru próbek wyjaśniają, dlaczego wybrana próbka może dawać mylący obraz większej populacji.

Załóżmy, że wszystkie te 12 przypadków pochodziło z 2024 r., ale oferowany zbiór obejmuje lata 2022–2024. Sprawdzenie poprawionej kopii może potwierdzić poprawki w tych przypadkach; nie pokazuje jednak, czy poprawiono resztę zbioru. Zapytaj, którą wersję zbioru danych i które rekordy poprawiono, a następnie uzgodnij sposób wyboru nowej próbki z wersji, którą zamierzasz kupić. Jeśli można sprawdzić tylko dane z 2024 r., pozostaw lata 2022–2023 bez oceny i zdecyduj, czy ograniczyć zakup, czy poczekać na szerszą weryfikację.

Jeśli na potrzeby wstępnej weryfikacji nie można udostępnić rzeczywistych rekordów, zapytaj, czy możliwe jest udostępnienie oczyszczonej próbki lub kontrolowanego dostępu. Syntetyczny przykład może pokazać format, ale nie pozwala ustalić jakości ani zakresu rzeczywistego zbioru.

Przed otrzymaniem próbki uzgodnij sposób egzekwowania ograniczeń dostępu: zapytanie wybierające określone kolumny samo w sobie nie ogranicza dostępu do reszty pliku źródłowego. Stopka pliku Parquet może również zawierać statystyki kolumn. Jeśli nadawca musi ograniczyć zakres danych przekazywanych poza jego środowisko, rozważ osobno przygotowaną próbkę z zatwierdzonymi polami lub usługę egzekwującą dostęp na poziomie pól. Przejrzyj metadane i mechanizmy kontroli dostępu wraz ze zwróconymi rekordami.

Sprawdź, jak możesz korzystać z danych

Dopasuj umowę i dokumenty uzupełniające do konkretnego zbioru danych i projektu. Pytania do omówienia z dostawcą oraz osobami odpowiedzialnymi za weryfikację prawną i zakupową obejmują:

  • Która wersja zbioru danych jest objęta umową i czy dostawca jest uprawniony do udzielenia zgody na proponowane wykorzystanie?
  • Czy warunki obejmują, tam gdzie jest to potrzebne, trenowanie, dostrajanie, ocenę lub wyszukiwanie danych? Czy regulują komercyjne wdrożenie oraz wszelkie istotne ograniczenia dotyczące modeli lub ich wyników?
  • Kto może uzyskiwać dostęp do danych lub je przetwarzać, w tym wykonawcy lub dostawcy usług? Jakie są warunki dostarczenia, przechowywania, retencji i usuwania danych?
  • Czy istnieją wyłączenia, prawa podmiotów na wcześniejszych etapach łańcucha, materiały stron trzecich lub inne ograniczenia wymagające sprawdzenia? Jakie dowody potwierdzają przedstawione przez dostawcę informacje o pochodzeniu danych i uzyskanych zgodach?

Zapisz osobno, co zostało potwierdzone, a co nadal wymaga sprawdzenia. Oznaczenie licencji lub karta zbioru danych pomaga ustalić, jakie zastosowanie jest deklarowane; sama w sobie nie potwierdza jednak przysługujących praw. W audycie publicznych zbiorów danych tekstowych, mowy i wideo stwierdzono różnice między opisami licencji na poziomie zbiorów a ograniczeniami związanymi z treściami źródłowymi. Wyniki dotyczą zbadanych publicznych zbiorów danych, a nie każdej kolekcji komercyjnej.

Na przykład przypięta karta publicznego zbioru badawczego SciFact opisuje go jako objęty licencją CC BY-NC 2.0 i zawiera link do pliku licencji w gałęzi master repozytorium, który może się zmienić. W przypiętej migawce tej licencji repozytorium oddzielnie wskazuje licencję CC BY 4.0 dla twierdzeń i anotacji dowodów, ODC-By 1.0 dla abstraktów korpusu oraz Apache 2.0 dla kodu. Dokumenty mogą opisywać różne wersje, komponenty lub przekształcenia; same w sobie nie ustalają warunków dla konkretnego pliku. Przyporządkuj dostarczone pliki i ich komponenty pochodzące ze źródeł zewnętrznych do odpowiedniej dokumentacji i przekaż nierozstrzygnięte kwestie praw do weryfikacji.

Zaplanuj ocenę i dostawę

Ustal sposób dostarczenia i odbioru danych: formaty plików, manifest lub identyfikator wersji, dokumentację, kontrole próbek oraz sposób korygowania problemów. Jeśli dane będą również służyć do oceny modelu, zabezpiecz oddzielny zbiór testowy przed użyciem do trenowania i sprawdź, czy między wydzielonymi zbiorami nie ma duplikatów. Wytyczne Google dotyczące podziału zbiorów danych wyjaśniają, jak duplikaty mogą sprawić, że wynik testu będzie wyglądał na lepszy, niż jest w rzeczywistości.

Sprawdź, kiedy rozpoczyna się okres na kontrolę, jak zgłosić zastrzeżenia, co oznacza brak odpowiedzi i jakie środki zaradcze mają zastosowanie. Na przykład wersja 1.0 standardowej licencji ai.market na dane treningowe dla AI daje kupującemu siedem dni kalendarzowych od pierwszej dostawy na zgłoszenie platformie istotnej niezgodności z ofertą. Główne warunki micro1, zaktualizowane 12 listopada 2026 r., dają micro1 jako licencjobiorcy 30 dni roboczych od zakończenia dostawy zgodnie z manifestem na pisemne odrzucenie danych. Osobna podstawa ma zastosowanie, jeśli dostawca powiadomi micro1 na piśmie, że pozostałe dane nie mogą zostać dostarczone. Dokumenty dotyczą różnych transakcji i zawierają dodatkowe warunki oraz wyjątki. Sprawdź warunki i wersję regulujące Twoje zamówienie.

Manifest może zawierać listę oczekiwanych plików i sum kontrolnych dla uzgodnionej wersji zbioru danych. Uzgodnij sposób weryfikacji źródła manifestu, porównania jego listy plików z otrzymaną zawartością oraz wyjaśnienia brakujących, nieoczekiwanych lub niezgodnych plików. Na przykład, jeśli fikcyjny manifest wymienia dwa pliki, ale dociera tylko jeden, zgodna suma kontrolna tego pliku nie oznacza kompletnej dostawy. Specyfikacja BagIt rozróżnia kompletność i walidację sum kontrolnych dla jednego z formatów pakowania danych. Zgodność sumy kontrolnej oznacza, że obliczony skrót pliku zgadza się z wartością w manifeście; sama w sobie nie potwierdza tożsamości nadawcy, poprawności etykiet, reprezentatywności zakresu danych ani praw do ich wykorzystania. Sprawdź te kwestie osobno.

Gdy dostawca prześle kolejną wersję, sprawdź, jak odbierać cykliczne dostawy danych dla AI.

Przykład sprawdzania wycieku danych ze zbioru testowego i brakującego kontekstu znajdziesz w naszym przewodniku po ocenie zbiorów danych.

sapien1 pomaga zespołom określać wymagania dotyczące danych, identyfikować możliwe źródła i oceniać próbki. Zacznij od zadania, potrzebnych przykładów i decyzji, którą ma wspierać próbka. Właściciele danych przygotowujący się do rozmowy mogą skorzystać z naszego przewodnika po przygotowaniu do licencjonowania danych.