AI 학습과 평가를 위한 데이터 소싱
페이지 언어: 한국어
모델이 수행할 작업과 필요한 자료, 해당 자료의 허용된 사용 범위를 설명하세요. sapien1은 잠재적인 출처를 찾고 진행 여부를 결정할 기준과 함께 샘플의 범위를 정하는 데 도움을 드릴 수 있습니다. sapien1에 프로젝트를 설명하세요
AI가 수행할 작업에 맞는 데이터를 찾으세요. sapien1은 요구사항을 정리하고 후보 출처를 찾으며, 데이터셋이 학습, 평가 또는 정보 검색에 적합한지 판단하도록 돕습니다.
개선하려는 동작부터 정하세요. 문서를 이해하거나, 워크플로를 완료하거나, 도구를 사용하거나, 장면을 해석하는 동작일 수 있습니다. 무엇을 개선할지에 따라 필요한 예시와 맥락, 품질 확인 방법이 달라집니다.
데이터의 용도 정의하기
같은 데이터 모음도 여러 용도로 쓸 수 있습니다. 학습 예시는 동작을 가르치고, 평가 예시는 그 동작을 검증합니다. 검색용 콘텐츠는 시스템이 질문에 답할 때 참고할 정보를 제공합니다.
출처를 비교하기 전에 데이터를 어떻게 쓸지 설명하세요. 고객 지원 에이전트의 학습 예시라면 요청 내용, 관련 정책, 실제 조치를 함께 보여줄 수 있습니다. 평가 작업에는 에이전트가 올바르게 판단했는지 확인할 명확한 방법도 필요합니다. 정보 검색용 데이터 모음에는 정책 원문과 어느 버전이 적용되는지 판단할 충분한 맥락이 필요합니다.
데이터 소싱 요청서에 담을 내용
| 요구사항 | 설명할 내용 |
|---|---|
| 작업 | 모델이나 에이전트가 해야 할 일과 현재 어려움을 겪는 부분 |
| 범위 | 관련 분야, 언어, 지역, 기간 및 해결하기 어려운 사례 |
| 데이터 형태 | 문서, 코드, 레코드, 오디오, 이미지, 영상, 도구 실행 기록 또는 이러한 형태의 조합 |
| 맥락 | 예시를 해석하는 데 필요한 라벨, 타임스탬프, 관계, 지시 또는 결과 |
| 사용 목적 | 학습, 평가 또는 정보 검색 중 어디에 쓸지와 데이터 접근 방식 |
| 수락 기준 | 프로젝트를 확대하기 전에 유용한 샘플로 확인할 사항 |
초기 요청서에는 아직 답할 수 없는 항목이 있어도 됩니다. 파일 수만 정하는 것보다 구체적인 작업과 대표 예시 몇 개를 제시하는 편이 대체로 더 좋은 출발점입니다.
프로젝트를 확대하기 전에 샘플 평가하기
샘플을 검토하면 누락된 맥락, 일관되지 않은 라벨, 중복, 충분히 다루지 못한 상황을 발견할 수 있습니다. 팀의 실제 워크플로에서 제안된 형식을 시험해 볼 수도 있습니다. 샘플 검토 사례는 AI 학습 데이터 구매 가이드에서 확인할 수 있습니다.
기술 평가와 함께 데이터 출처와 허용된 사용 범위를 기록하세요. 데이터셋 설명을 읽고 내용과 관련 제약을 이해할 수 있어야 합니다. 문서 작성에는 Hugging Face 데이터셋 카드 가이드를 참고할 수 있습니다.
데이터 소유자가 자료를 어떻게 설명하고 어떤 권한을 검토해야 하는지 알아보려면 기업 데이터 라이선스 제공 전에 준비할 사항을 읽어보세요.
소유한 데이터 모음에 대해 논의하고 싶다면 데이터를 설명해 주세요.
sapien1과 함께하는 프로젝트에서는 소싱 범위, 샘플 검토, 납품물, 수락 기준을 함께 정합니다. 다음 단계로는 필요한 데이터를 선별해 수집하거나, 이미 보유한 데이터를 평가하거나, 에이전트 평가용 작업 세트를 마련하는 방법이 있습니다.