본문으로 바로가기

메뉴

AI 데이터셋이 목표 과업에 적합한지 평가하기

언어: 한국어

예상하는 사용 용도와 스키마, 샘플에 대한 설명을 공유하세요. 포괄 범위, 품질, 권한 검토의 범위를 정하고, 근거가 뒷받침하는 사용 용도를 설명하는 결과를 제공할 수 있습니다. sapien1에 프로젝트를 설명하세요

데이터셋 평가는 이미 확보한 데이터가 학습, 정보 검색 또는 평가에 관한 구체적인 결정을 뒷받침할 수 있는지 확인하는 과정입니다. 먼저 목표 과업을 정하고, 예시와 그 맥락, 레이블, 포괄 범위, 데이터 분할 방식을 살펴보세요.

예를 들어, 충분해 보이는 테스트 세트에 모델이 학습 중에 이미 본 사례가 들어 있을 수 있습니다. 새로운 사례에서의 성능을 추정하는 테스트라면 중요한 문제입니다. 검토 결과에는 무엇을 확인했는지, 무엇을 수정해야 하는지, 남은 증거로 어떤 결론을 뒷받침할 수 있는지가 드러나야 합니다.

어떤 결정을 내릴지 먼저 정하기

데이터셋을 어떻게 사용할지 적어 보세요. 같은 레코드라도 한 목적에는 충분하고 다른 목적에는 부족할 수 있습니다.

예상 용도확인할 질문
학습 또는 미세 조정예시와 레이블이 모델이 학습해야 할 행동을 보여 주나요?
모델 또는 에이전트 평가예상 결과를 검증할 수 있나요? 테스트 사례가 시스템의 학습이나 조정에 사용한 자료와 독립적인가요?
정보 검색내용이 최신이고 해석 가능하며, 시스템이 필요할 때 사용할 수 있나요?

데이터셋 버전과 출처, 날짜 범위, 필드, 알려진 제한 사항을 기록하세요. 데이터셋 카드에 내용과 맥락, 메타데이터가 설명되어 있다면 실제 파일 및 적용되는 이용 조건과 대조하세요.

문서를 확인하는 구체적인 예로, 2026년 11월 17일에 살펴본 lerobot/svla_so101_pickplace 저장소의 리비전 f641879를 보겠습니다. 데이터셋 카드에 있는 메타데이터 예시는 codebase_version v2.1과 에피소드 단위 파일 경로를 사용합니다. 같은 리비전의 실제 메타데이터에는 codebase_version v3.0과 청크 단위 파일 경로가 나옵니다. 데이터 디렉터리에는 해당 명명 방식을 따르는 파일이 있습니다. 카드에서 복사한 경로를 쓰기 전에 실제로 사용할 리비전의 메타데이터와 파일을 확인하세요. 예시의 품질과 학습 적합성은 별도로 판단해야 합니다.

로봇 기록을 합치기 전에 행동 채널과 상태 채널의 의미, 그리고 일정한 스텝 수가 나타내는 시간을 확인하세요. FineART와 시뮬레이션 ALOHA 데이터셋은 모두 aloha를 선언하고, 행동과 상태를 각각 14개 요소의 float32 벡터로 나타냅니다. FineART는 초당 30프레임, 시뮬레이션 데이터셋은 초당 50프레임을 선언합니다. 선언된 속도에서 한 스텝마다 한 프레임 간격만큼 진행한다면 15스텝은 한쪽에서 0.5초, 다른 쪽에서 0.3초에 해당합니다. 두 데이터셋의 시간 구간을 같은 것으로 취급하기 전에 실제 기록 시각과 파이프라인이 스텝을 선택하는 방식을 확인하세요. FineART 메타데이터 · 시뮬레이션 ALOHA 메타데이터

예시로 데이터 분할과 맥락 확인하기

한 팀이 새로운 대화를 처리하는 에이전트의 출시 여부를 판단하기 위해 기존의 레이블이 있는 고객 지원 데이터를 쓰려 한다고 가정해 보겠습니다. 전체 120개 예시 중 90개는 학습용이고 30개는 제안된 테스트 세트에 있습니다. 각 예시에는 사례 ID, 대화 ID, 적용되는 고객 지원 정책 버전, 예상되는 다음 행동이 있어야 합니다.

가상의 예시입니다. 팀이 테스트 사례 30개를 살펴보고 학습 세트와 비교해 다음 결과를 얻었습니다.

점검 항목확인 결과출시 결정에 미치는 영향
중복 사례테스트 사례 네 개가 학습 사례의 복사본으로 확인됐습니다.이 네 사례는 학습 세트의 사례와 중복됩니다.
공유된 대화다른 세 테스트 사례의 사례 ID는 다르지만, 학습 세트에 있는 대화에 속합니다.새로운 대화를 평가하려는 테스트에서 분할 간에 겹치는 사례가 더 있다는 뜻입니다.
정책 맥락남은 테스트 사례 23개 중 두 개에는 정책 버전에 대한 참조가 없습니다.기록된 맥락만으로는 예상 행동이 해당 정책에 부합하는지 아직 확인할 수 없습니다.

처음 두 점검에서 서로 다른 테스트 사례 일곱 개가 표시됐고, 23개에는 이런 중복이 발견되지 않았습니다. 그중 두 개에는 정책 맥락이 없어 이번 점검에서 문제로 표시되지 않은 테스트 사례는 21개입니다. 이 사례들의 레이블이 맞는지, 범위가 충분한지, 21개로 출시를 결정할 수 있는지는 별도로 판단해야 합니다.

팀은 현재 세트를 새로운 대화에 대한 독립적인 출시 테스트에 사용하는 일을 보류해야 합니다. 표시된 사례를 격리해 검토하고, 빠진 맥락을 복구하거나 불확실한 점을 해결하세요. 모델과 개발팀이 무엇을 이미 봤는지도 확인하세요. 파일 배치를 바꾸는 것만으로 이전에 사용한 사례가 새 사례가 되지는 않습니다. 새로 분할할 때는 각 대화를 하나로 묶고 테스트 사례를 기록된 학습 및 모델 선택 데이터와 대조하세요. 과거 학습 데이터의 출처를 확인할 수 없다면 그 한계를 기록하세요. 기존 결과가 조정에 영향을 주었다면 그 결정에 사용하지 않은 새로운 사례를 따로 확보하고, 필요하면 분리된 데이터로 다시 학습하세요.

Google의 데이터셋 분할 가이드는 학습 세트와 테스트 세트에 중복된 예시가 있으면 새로운 예시에서의 실제 성능보다 결과가 좋아 보일 수 있는 이유를 설명합니다. scikit-learn의 그룹 교차 검증 가이드는 보지 못한 그룹에 대한 성능을 평가할 때 같은 그룹의 관련 관측을 함께 두는 방법을 설명합니다. 어떤 그룹이 중요한지는 질문에 따라 달라지며, 대화나 고객, 문서 등이 단위가 될 수 있습니다. 이미지 설명 테스트에서 학습 세트에 없던 이미지를 써야 한다면 각 이미지의 설명을 모두 같은 쪽에 두세요. 설명 행을 따로 분할하면 같은 이미지가 학습과 테스트 양쪽에 들어갈 수 있습니다. 미래 성능을 평가할 때는 시간 순서를 고려해 분할하여 테스트 기간 이후의 관측이 학습에 들어가지 않도록 하세요.

팀이 기준 시점 이후의 새로운 대화도 테스트하고 싶다고 가정해 보겠습니다. 새 분할에서 대화 A에는 기준 시점 전후의 기록이 있고, 대화 B의 첫 사례 기록은 그 이후에 나타납니다. B의 기록을 과거에 학습이나 모델 선택에 사용하지 않았다면 A를 양쪽 세트에서 제외하고 B를 테스트에 남기는 방법이 있습니다. 기준 시점 이전의 데이터로 학습하고 테스트 세트 전체를 대상으로 이전에 사용된 사례가 있는지 확인하세요. 제외 항목을 기록하고, 남은 사례가 목표 용도를 포괄하는지 확인하세요. 이어지는 대화는 시간 순서를 지키는 별도의 테스트로 평가할 수 있습니다. 기록이 불완전하다면 B가 새로운 대화인지 확인하지 못할 수도 있습니다.

지정하지 않은 비율이 자동으로 별도 보관된다고 가정하기 전에 분할 도구가 실제로 무엇을 할당하는지 확인하세요. 예를 들어 리비전 7910c20의 LeRobot 비율 지정 함수에 train: 0.6 다음 test: 0.2를 전달하면, 가상의 세트에 있는 50개 에피소드가 모두 할당됩니다. 30개는 학습용, 20개는 테스트용이며 남는 에피소드는 없습니다. 다른 도구나 버전은 다르게 동작할 수 있고, 작은 세트에서는 반올림이나 재할당이 필요할 수 있습니다. 실제로 어느 에피소드가 할당됐는지 확인하세요. 그룹을 유지해야 한다면 같은 그룹을 분리하지 않는 에피소드 목록을 정해 기록하세요.

LeRobot 연구 노트는 새로 만든 Diffusion 프로세서가 저장된 정규화 통계를 전달받는 과정을 추적하고, 가상의 홀드아웃 분할에서 그 범위를 학습 에피소드의 요약과 비교합니다. 사용하는 프로세서가 읽는 통계가 어디서 왔으며 어떤 데이터를 포함하는지 확인하세요.

레이블과 데이터 포괄 범위 검토하기

레이블이 있는 데이터라면 예상 답변을 표본 추출해, 답변을 만들 때 사용한 지침과 근거에 대조하세요. 해당 분야 전문가는 빠진 맥락, 일관되지 않은 레이블, 정답이 실제로 모호한 사례를 조사할 수 있습니다. 의견이 갈린 부분과 해결 방법을 기록하세요. 검토자 간 일치는 참고할 정보이며, 레이블의 정확성을 입증하려면 추가 근거가 필요합니다. 주석 품질 관리 연구에서는 검토, 일치도, 의견 차이 조정을 서로 구별합니다.

숫자로 된 클래스 레이블은 ID를 클래스 이름과 정의에 연결하는 매핑이 필요합니다. 여러 데이터 버전과 분할에서 정의와 ID를 비교하고, 모델이 예상하는 매핑과도 대조하세요. 변환 방법과 누락되거나 통합된 클래스의 처리 방법을 기록하세요. Ultralytics Platform의 데이터셋 가이드에 따르면 클래스를 합치거나 제거할 때 뒤에 있는 ID가 바뀔 수 있습니다. 그러면 이전에 내보낸 데이터가 새 클래스 목록과 맞지 않게 됩니다. 자체 내보내기 결과와 파이프라인에서 매핑을 검증하세요.

일반적인 요청, 중요한 예외, 언어, 기간 또는 의미 있는 다른 그룹 등 예상 용도와 관련된 상황이 데이터셋에 포함되는지 확인하세요. 예시가 부족한 그룹은 추가 데이터나 별도의 분석이 필요할 수 있습니다. 필요한 예시 수는 그룹마다 다를 수 있습니다.

검토할 예시를 어떻게 선택했는지 기록하세요. 직접 선별한 표본은 문제를 찾는 데 유용하지만, 그 표본의 오류율을 데이터셋 전체의 오류율로 간주하면 안 됩니다. Google의 표본 추출 가이드는 선택 방식으로 인해 더 큰 모집단에 대한 결론이 어떻게 왜곡될 수 있는지 설명합니다.

무작위 표본도 오류를 놓칠 수 있습니다. 별도의 가상 배치에 레코드 120개가 있고 그중 여섯 개에 잘못된 레이블이 있다고 가정해 보겠습니다. 중복 없이 20개를 균등 무작위로 고르면 약 33%의 확률로 표본에 그 여섯 개가 하나도 포함되지 않습니다. 검토자가 선택된 레코드의 잘못된 레이블을 모두 찾는다면, 47개를 선택했을 때 여섯 개를 전부 놓칠 확률이 5% 미만으로 줄어듭니다. 이는 오류가 여섯 개라고 가정한 계획 예시입니다. 표본에서 오류가 없더라도 전체에 정확히 여섯 개가 있다는 결론을 내리거나 나머지 레코드가 모두 정확하다고 증명할 수는 없습니다. 결정에 중요한 오류 빈도와 놓칠 확률을 기준으로 표본 크기를 정하고, 예시의 선택과 검토 방법을 기록하세요. NIST의 표본 추출 입문은 선택과 표본 크기를 다루고, 주석 품질 연구는 통계적 품질 추정과 샘플링 검사를 설명합니다.

언어별 읽기 점수 비교하기

무엇을 바꿀지 결정하기

확인 결과를 팀이 수행할 수 있는 조치로 바꾸세요.

  • 수정하기. 누락된 맥락을 복구하거나 확인된 오류를 고치거나 레이블링 지침을 갱신하세요. 영향을 받은 레코드를 다시 점검하세요.
  • 사용 범위 제한하기. 데이터셋이 뒷받침할 수 있는 과업이나 하위 집합에만 사용하고, 알려진 공백을 설명하세요.
  • 보류하기. 중요한 문제가 해결될 때까지 예정된 학습이나 출시 결정에 데이터셋을 쓰지 마세요.
  • 데이터 추가하기. 빠진 상황의 사례를 수집하거나 조달하세요. 또는 학습이나 조정에 사용하지 않은 새 테스트 세트를 만드세요.

원본과 수정 버전을 구별할 수 있어야 합니다. 점검 항목, 선택 방법, 확인 결과, 검토자의 판단, 아직 풀리지 않은 질문을 기록하면 다른 팀도 무엇을 왜 바꿨는지 파악할 수 있습니다.

다시 쓴 Parquet 데이터셋 검증하기

납품된 Parquet 파일을 다시 썼다면 새 파일이 해당 과업을 위해 보존해야 할 속성을 정하세요. 원본 및 수정 파일의 버전을 기록하고, 팀이 후속 단계에서 사용하는 읽기 도구로 점검하세요. 다음 예시는 가상의 데이터를 사용합니다.

  • 원본 필드. 필드가 없는 경우와 값이 명시적으로 null인 경우를 구분해야 한다면 각 원본 파일의 스키마를 저장하세요. DuckDB 1.4.4 예시에서는 어떤 원본에 특정 필드가 빠져 있는지를 서로 바꾸면, 원본 이름을 유지해도 병합 파일은 동일했습니다. 원래 스키마에서 두 변경을 모두 확인할 수 있었습니다. DuckDB 스키마 결합
  • 사례와 레이블의 짝. 사례 ID가 존재하고 고유한지 검증하고 예상 목록과 대조한 뒤, ID별 레이블을 비교하세요. 여덟 행 예시의 두 재작성 모두 동일한 푸터 메타데이터와 레이블 개수를 유지했습니다. 한쪽에서는 두 레이블이 다른 사례로 옮겨졌습니다. 다른 쪽에서는 완전한 행의 순서만 바꿔 모든 짝을 보존했습니다. Parquet 파일 구조
  • 디코딩된 숫자. 논리 타입을 확인하고 실제로 읽을 값들을 비교하세요. 십진수 예시에서 스케일을 2에서 3으로 바꾸자 12.34가 1.234로 바뀌었지만, 저장된 정수와 열 청크의 바이트는 그대로였습니다. Parquet 십진 타입 명세
  • 현지 날짜. 보고서에서 현지 날짜별로 묶는다면, 합의된 시간대에서 각 이벤트의 날짜를 비교하세요. PyArrow 26.0.1을 사용한 예시에서 Arrow 스키마 메타데이터를 제외하고 다시 썼을 때도 두 이벤트의 발생 시점은 유지됐습니다. UTC로 읽으니 모두 7월 1일이었고, 합의된 뉴욕 시간대로 읽으니 각각 6월 30일과 7월 1일로 돌아왔습니다. PyArrow 쓰기 옵션

합의된 속성을 기준으로 각 점검을 수행하세요. 순서 변경이 허용된다면 짝을 모두 보존하는 재정렬은 사례와 레이블 점검을 통과합니다. 계약에서 원본별로 어떤 필드가 있었는지 입증해야 하는데 원본 스키마를 확보할 수 없다면, 증거를 복구할 때까지 그 점검을 보류하세요.

COCO 데이터 변환 확인

객체 탐지용 COCO 데이터셋을 변환할 때는 원본 이미지 매핑과 내보낸 이미지 매핑을 비교하세요. 내보낸 자료에서 원본 이미지마다 서로 다른 숫자 ID가 지정되고, 주석과 예측이 여전히 의도한 이미지를 가리키는지 확인하세요. 저장된 ID 매핑을 사용하도록 설정하면, 테스트한 FiftyOne 내보내기 기능은 01과 1을 같은 정수로 변환합니다. 테스트한 COCO 인덱스는 그 ID의 마지막 이미지 행을 남기고 주석을 그 ID 아래에 묶습니다. 점수를 산출하기 전에 중복 ID를 해결하세요. FiftyOne 내보내기 · COCO 인덱스

가능하면 원래 ID를 유지하세요. ID를 바꿔야 한다면 상대적인 숫자 순서를 유지하고 원본과 변환된 데이터에서 평균 정밀도(AP)를 다시 계산하세요. 동일한 평가기 리비전과 설정, 반올림하지 않은 예측 점수를 사용하고 각 실행에서 예측을 해당 이미지에 연결하세요. 같은 범주와 같은 신뢰도의 탐지 두 개가 서로 다른 이미지에 있는 작은 검증 사례도 포함하세요. 하나는 정답 주석과 일치하고 다른 하나는 거짓 양성이어야 합니다. 테스트한 COCO 평가기는 ID를 정렬하고 이미지 간 점수가 같을 때 그 순서를 유지합니다. 따라서 탐지의 일치 관계가 같더라도 ID를 다시 매기면 AP가 달라질 수 있습니다. 두 버전을 비교하기 전에 점수 차이를 조사하고 해결하세요. COCO 이미지 순서 · COCO 점수 누적

sapien1은 팀이 AI 시스템이 수행할 업무를 기준으로 데이터셋을 검토하고 평가를 설계하도록 돕습니다. 데이터를 검토한 뒤에는 에이전트 평가 가이드를 참고하세요. 필요한 데이터가 빠져 있다면 데이터 조달 가이드에서 무엇을 찾아야 하는지 정리할 수 있습니다.