본문으로 바로가기

메뉴

AI 학습 데이터 구매 방법

언어: 한국어

모델이 무엇을 학습해야 하는지와 유용한 샘플을 판단할 기준을 알려 주세요. 컬렉션 라이선스 취득 여부를 결정하기 전에 적합한 출처와 검토할 근거를 논의할 수 있습니다. sapien1에 프로젝트를 설명하세요

기존 데이터셋을 라이선스하거나, 데이터 소유자와 직접 협의하거나, 특정 작업에 맞춘 데이터 수집을 의뢰할 수 있습니다. 계약하기 전에 모델이 무엇을 학습해야 하는지 정의하고, 샘플이 그 요건에 맞는지 테스트하고, 제안된 조건이 의도한 용도를 허용하는지 확인하세요.

중요한 질문은 “데이터가 얼마나 많은가?”만이 아닙니다. 각 기록에 팀이 활용할 수 있는 예시와 맥락이 담겨 있는지, 합의한 라이선스가 관련된 사람과 시스템, 목적을 포괄하는지도 중요합니다.

데이터를 어디서 구할지 정하기

방식고려할 상황먼저 확인할 질문
기존 데이터셋필요한 데이터 모음이 이미 존재할 수 있는 경우어떤 버전, 필드, 기간, 사용 조건이 포함되나요?
데이터 소유자와 직접 계약한 조직이 관련 기록이나 콘텐츠를 보유하고 있는 경우제안된 사용을 누가 허가할 수 있으며, 어떤 자료가 범위에 포함되나요?
맞춤 수집 또는 준비기존 자료에 중요한 상황, 형식 또는 레이블이 빠져 있는 경우무엇을 수집하거나 준비하고, 품질을 어떻게 확인하며, 이후 무엇을 사용할 수 있나요?
공개 데이터셋접근할 수 있는 데이터 모음이 작업에 적합하거나 초기 비교 기준이 될 수 있는 경우출처, 한계, 허용된 용도에 관해 문서에 무엇이 명시되어 있나요?

예를 들어 Opendatabay는 데이터셋 목록을 제공하는 마켓플레이스를 운영하고, Clickworker는 맞춤 수집 및 어노테이션 서비스를 소개합니다. 이들은 검토를 시작할 수 있는 곳입니다. 필요한 데이터에 해당하는 제공 내용과 조건을 확인하세요.

데이터 확보 가이드에서는 공급처에 문의하기 전에 작업, 포괄 범위, 형식을 설명하는 방법을 다룹니다.

각 예시에 무엇을 넣을지 정하기

의도한 동작과 이를 평가하는 데 필요한 정보를 적어 두세요. 고객 지원 에이전트의 경우 고객 요청, 당시 적용된 정책, 취한 조치, 결과가 기록에 포함되어야 할 수 있습니다. 문서 모델의 경우 페이지 이미지, 추출된 텍스트, 레이아웃, 검증된 레이블이 중요한 필드일 수 있습니다.

문서 샘플에 레이블이 지정된 박스가 있다면 박스가 전달된 이미지와 맞는지 확인하세요. 일부 형식은 위치를 페이지 크기에 대한 비율로 표현하고, 다른 형식은 픽셀을 사용합니다. 페이지, 이미지 버전, 단위, 좌표 원점, 크기 조정·자르기·회전 여부를 확인한 다음 샘플 박스를 이미지 위에 겹쳐 정렬 상태를 확인하세요. 레이블이 올바른 영역을 설명하는지도 검토하세요.

정확한 데이터셋 버전에 관한 설명을 요청하세요. 출처, 크기와 단위, 포함 기간, 형식, 레이블, 알려진 제외 항목, 처리 이력이 여기에 포함됩니다. Hugging Face의 데이터셋 카드 가이드는 카드에 콘텐츠와 맥락, 라이선스·언어·크기 같은 메타데이터를 문서화하는 방법을 설명합니다. 이 필드들은 근거 문서와 함께 검토할 정보로 취급하세요.

요건에 맞춰 샘플 테스트하기

확대 여부를 결정하기 전에 샘플과 확인 항목에 합의하세요. 모델이 접할 일상적인 상황과 작업에 중요한 까다로운 사례를 모두 포함하세요. 샘플을 어떻게 선정했는지, 제안된 데이터 모음 중 어느 부분을 대표하는지 기록하세요.

2026년 11월 18일에 확인한 Origin Lab의 마켓플레이스 이용약관은 약관에서 정의한 마켓플레이스 샘플의 사용을 내부 평가로 제한하며, Origin Lab이 체결한 해당 상업 계약에 명시적으로 달리 정하지 않는 한 AI 시스템을 테스트하거나 평가하는 데 사용하는 것을 금지합니다. 이 샘플 제한에는 별도로 정의된 Bench Materials가 포함되지 않으며, 여기에는 자체 조건이 적용됩니다. 샘플을 살펴보거나 테스트, 학습, 공유하기 전에 해당 샘플의 구체적인 조건과 관련 계약을 확인하세요.

단어별 타임스탬프가 있는 음성 샘플이라면 어떤 녹음 파일과 시간 단위를 기준으로 삼았는지 확인하세요. 타임스탬프가 무음 구간을 제거한 사본을 기준으로 한다면 원본 녹음 식별자와 유지된 구간을 원본 타임라인에 대응시킨 매핑을 요청하세요. 중간에 잘라낸 지점 이후의 단어 하나를 확인하세요. 원본의 2~4초와 7~9초 구간을 패딩 없이 이어 붙인 가상의 샘플에서 샘플의 2.5초는 원본의 7.5초에 해당합니다. 첫 번째 구간의 2초 오프셋을 더하면 4.5초가 되는데, 이는 제거된 구간 안에 있습니다. NeMo Curator 타임스탬프 매핑

타임스탬프가 이어 붙인 지점을 가로지르는 단어를 전달된 데이터에서 어떻게 표시하는지 확인하세요. 같은 가상 샘플에서 테스트한 faster-whisper 헬퍼는 연결 지점을 가로지르는 구간의 양 끝에 하나의 오프셋을 적용해 시작점을 제거된 구간 안에 배치했습니다. 원본 녹음에서 연속된 구간이 필요한 용도라면 이런 사례를 수용하기 전에 어떻게 표시하고 검토할지 합의하세요. faster-whisper 타임스탬프 복원 · faster-whisper 오프셋 계산

다음 가상 사례를 살펴보겠습니다. 한 팀이 반품 요청에 대한 다음 단계를 추천하는 고객 지원 에이전트를 파인튜닝하려고 합니다. 공급업체는 고객 지원 사례 모음을 제안합니다. 팀은 점검용 예시 12개를 요청합니다. 일상적인 반품 사례 6개와 예외 사례 6개입니다. 이 첫 검토에서 팀은 모든 예시에 고객 요청, 당시 적용된 정책 버전으로 연결되는 링크, 기록된 결과가 포함되어야 한다고 요구합니다.

확인 항목이 샘플의 요건예시 결과
고객 요청예시 12개 모두에 포함12개 중 12개에 포함
적용된 정책 버전예시 12개 모두에 링크 포함12개 중 10개에 포함, 예외 사례 2개에는 링크가 없음
기록된 결과예시 12개 모두에 포함12개 중 11개에 포함, 일상적인 사례 1개에는 결과가 없음

샘플은 팀이 정한 확인 항목 중 2개를 충족하지 못합니다. 다음 단계는 누락된 정책 링크와 결과를 복구할 수 있는지 확인하고 수정된 샘플을 검토하는 것입니다. 복구할 수 없다면 팀은 요건을 바꾸거나 다른 공급처를 찾을 수 있습니다. 기록된 결과가 반드시 올바른 결정인 것은 아닙니다. 해당 분야 검토자가 결과를 적용된 정책과도 비교해야 합니다.

이 수치는 선정된 사례 12개만 설명합니다. 전체 데이터 모음의 오류율을 추정하는 수치는 아닙니다. 더 넓은 범위가 포괄되어 있는지 평가하려면 데이터셋이 관련 상황별로 어떻게 분포되어 있는지 묻고, 문서화된 방법으로 추출한 추가 샘플에 합의하세요. 데이터 품질과 샘플링에 관한 Google의 가이드는 선정된 샘플이 더 큰 모집단에 관해 왜 오해를 일으킬 수 있는지 설명합니다.

이 사례 12개가 모두 2024년 자료이지만 제공되는 데이터 모음은 2022~2024년을 다룬다고 가정해 보겠습니다. 수정된 사본을 확인하면 해당 사례의 수정 사항은 확인할 수 있지만, 데이터 모음의 나머지 부분도 수정되었는지는 알 수 없습니다. 어떤 데이터셋 버전과 기록에 수정이 적용되었는지 묻고, 구매하려는 버전에서 새로운 샘플을 선정하는 방법에 합의하세요. 2024년 자료만 검토할 수 있다면 2022~2023년 자료는 평가되지 않은 상태로 두고, 구매 범위를 좁힐지 더 폭넓은 검토를 기다릴지 결정하세요.

초기 검토를 위해 실제 기록을 공유할 수 없다면 민감한 정보를 제거한 샘플이나 통제된 접근이 가능한지 확인하세요. 합성 예시는 형식을 보여 줄 수 있지만 실제 데이터 모음의 품질이나 포괄 범위를 입증할 수는 없습니다.

샘플을 받기 전에 접근 제한을 어떻게 적용할지 합의하세요. 특정 열을 선택하는 쿼리만으로는 원본 파일의 나머지 부분에 대한 접근이 제한되지 않습니다. Parquet 푸터에도 열 통계가 포함될 수 있습니다. 전송자가 외부로 전달되는 내용을 제한해야 한다면 승인된 필드만 담아 별도로 준비한 샘플이나 필드별 접근 제한을 적용하는 서비스를 고려하세요. 반환된 기록과 함께 메타데이터와 접근 통제도 검토하세요.

허용되는 데이터 사용 범위 확인하기

계약과 증빙 문서가 해당 데이터셋과 프로젝트에 맞는지 확인하세요. 공급업체 및 법무·구매 검토 담당자와 논의할 질문은 다음과 같습니다.

  • 어떤 데이터셋 버전이 적용 대상이며, 공급업체에 제안된 사용을 허가할 권한이 있나요?
  • 필요한 경우 학습, 파인튜닝, 평가 또는 검색이 포함되나요? 조건에서 상업적 배포와 모델 또는 출력물에 적용되는 관련 제한을 다루나요?
  • 계약업체나 서비스 제공업체를 포함해 누가 데이터에 접근하거나 데이터를 처리할 수 있나요? 전달, 저장, 보유, 삭제 조건은 무엇인가요?
  • 검토해야 할 제외 항목, 상위 권리, 제3자 자료 또는 기타 제한이 있나요? 데이터의 출처와 사용 허가에 관한 공급업체의 설명을 뒷받침할 수 있는 증빙은 무엇인가요?

확인된 사항과 추가 검토가 필요한 사항을 따로 기록하세요. 라이선스 표시나 데이터셋 카드는 주장된 사용 범위를 파악하는 데 도움이 되지만, 그 자체로 근거 권리를 검증하지는 않습니다. 공개 텍스트·음성·동영상 데이터셋에 대한 감사에서는 데이터셋 수준의 라이선스 설명과 원본 콘텐츠에 적용되는 제한 사이에 차이가 발견되었습니다. 이 결과는 조사 대상 공개 데이터셋에 관한 것이며, 모든 상업용 데이터 모음에 적용되는 것은 아닙니다.

예를 들어 특정 버전으로 고정된 공개 연구 데이터셋 SciFact의 카드는 데이터셋을 CC BY-NC 2.0으로 설명하고, 변경될 수 있는 저장소의 master 브랜치에 있는 라이선스 파일로 연결합니다. 해당 라이선스의 특정 시점 스냅샷에서 저장소는 주장과 근거 어노테이션에는 CC BY 4.0, 코퍼스 초록에는 ODC-By 1.0, 코드에는 Apache 2.0이 적용된다고 각각 설명합니다. 문서들이 서로 다른 버전, 구성 요소 또는 변환을 설명할 수 있으므로, 그 자체로 특정 파일의 조건을 확정하지는 않습니다. 전달된 파일과 그 원본 구성 요소를 관련 문서에 대응시키고, 해결되지 않은 권리 문제를 검토받으세요.

평가와 전달 계획하기

파일 형식, 매니페스트 또는 버전 식별자, 문서, 샘플 점검, 문제 수정 방법 등 데이터를 어떻게 전달하고 수용할지 결정하세요. 데이터를 모델 평가에도 사용할 예정이라면 별도의 테스트 세트가 학습에 사용되지 않도록 보호하고, 분할된 세트 사이에 중복이 있는지 확인하세요. Google의 데이터셋 분할 가이드는 중복으로 인해 테스트 결과가 실제보다 좋아 보일 수 있는 이유를 설명합니다.

검수 기간이 언제 시작되는지, 어떻게 통지해야 하는지, 아무런 통지를 하지 않으면 어떤 의미가 있는지, 어떤 구제 수단이 적용되는지 확인하세요. 예를 들어 ai.market의 표준 AI 학습 라이선스 버전 1.0은 구매자에게 최초 전달 후 역일 기준 7일 안에 데이터와 목록 설명 사이의 중대한 불일치를 마켓플레이스에 알릴 수 있는 기간을 줍니다. 2026년 11월 12일에 업데이트된 micro1의 기본 약관은 라이선스 이용자인 micro1이 매니페스트에 따른 전달 완료 후 영업일 기준 30일 안에 서면으로 데이터를 거부할 수 있도록 합니다. 공급업체가 나머지 데이터를 전달할 수 없다고 micro1에 서면으로 통지하는 경우에는 별도의 기산 조건이 적용됩니다. 이 문서들은 서로 다른 거래에 적용되며 추가 조건과 예외를 포함합니다. 주문에 적용되는 조건과 버전을 검토하세요.

매니페스트에는 합의된 데이터셋 버전에 포함되어야 할 파일과 체크섬을 나열할 수 있습니다. 매니페스트의 출처를 어떻게 확인하고, 파일 목록을 실제 도착한 파일과 어떻게 비교하며, 누락되거나 예상하지 못한 파일 또는 일치하지 않는 파일을 어떻게 조사할지 합의하세요. 예를 들어 가상의 매니페스트에 파일 2개가 나열되어 있지만 1개만 도착했다면, 도착한 파일의 체크섬이 일치하더라도 전달이 완료된 것은 아닙니다. BagIt 명세는 한 패키징 형식에서 완전성과 체크섬 검증을 구분합니다. 체크섬이 일치한다는 것은 파일에서 계산한 다이제스트가 매니페스트와 일치한다는 뜻입니다. 이것만으로 전송자의 신원, 레이블의 정확성, 포괄 범위의 대표성 또는 데이터 사용 권리가 입증되지는 않습니다. 이러한 사항은 별도로 검토하세요.

공급업체가 다음 버전을 보낼 때는 반복적으로 전달되는 AI 데이터를 수용하는 방법을 확인하세요.

테스트 세트 누출과 누락된 맥락을 확인하는 구체적인 예시는 데이터셋 평가 가이드를 참고하세요.

sapien1은 팀이 데이터 요건의 범위를 정하고, 가능한 공급처를 찾고, 샘플을 평가하도록 돕습니다. 작업과 필요한 예시, 샘플을 통해 뒷받침해야 할 결정부터 정하세요. 협의를 준비하는 데이터 소유자는 데이터 라이선스 준비 가이드를 활용할 수 있습니다.