정기 AI 데이터 납품을 검수하는 방법
언어: 한국어
예상 스키마, 제공 주기, 배치를 사용할 수 없게 만드는 조건을 공유하세요. 인수 점검 항목과 통과했거나 수정이 필요한 사항의 기록 범위를 정하는 데 도움을 드릴 수 있습니다. sapien1에 프로젝트를 설명하세요
정기 납품된 데이터 세트를 적용하기 전에 팀이 마지막으로 승인한 버전과 비교하세요. 새 파일이 합의된 데이터 전체를 교체하는 것인지, 특정 기준 버전 이후의 변경분만 담고 있는지 확인하세요. 파일 검증을 통과하더라도 업데이트가 잘못된 버전에서 시작할 수 있습니다.
새 납품의 범위 확인하기
릴리스 식별자, 적용 범위, 매니페스트를 요청하세요. 전체 교체라면 전체 데이터 세트의 범위를 확인하세요. 변경분이라면 필요한 기준 버전과 공급업체가 추가, 업데이트, 삭제를 각각 어떻게 표시하는지 확인하세요. 변경되지 않은 레코드는 변경 파일에 없을 수 있습니다. AWS Data Exchange는 업데이트된 전체 데이터 세트와 이전 리비전 이후의 새 데이터를 담은 리비전을 모두 설명합니다. AWS Data Exchange 리비전 문서
파일 이름과 체크섬을 합의한 매니페스트와 대조하세요. 그런 다음 기준 버전과 레코드 변경 내용이 납품 조건과 일치하는지 별도로 확인하세요. BagIt은 파일 매니페스트와 체크섬 검증 방법을 설명합니다. BagIt 사양
검증 환경에서 업데이트를 적용하고 결과 확인하기
이 가상의 예에서 구매자는 카탈로그 피드에서 학습 세트에 넣을 레코드를 고릅니다. 기준 버전이 정확히 일치해야 하며, 학습 세트가 참조하는 병합된 레코드마다 활성 상태인 병합 대상이 있어야 합니다. 마지막으로 승인한 버전은 R12이고, 활성 ID는 A14, A27, A38, A52입니다. R13의 첫 번째 패키지는 파일 검증을 통과했지만, 기준 버전으로 R11이 필요합니다. 구매자는 R12를 계속 사용하면서 R12를 기준으로 한 변경분이나 합의한 범위의 전체 교체본을 요청합니다.
공급업체는 R12를 기준으로 지정한 수정본 R13b를 보냅니다. 구매자는 새 파일을 확인한 뒤, 해당 데이터의 사용이 승인된 검증 환경에서 복사본에 변경분을 적용합니다.
| 레코드 | R13b의 변경 내용 또는 예상 상태 | R13b 승인 전 확인할 내용 |
|---|---|---|
A14 | 주제를 returns에서 exchanges로 변경 | R12의 이전 값과 검증 환경에서 적용한 후의 새 값을 확인합니다. |
A27 | A38에 병합 | A27이 활성 목록에서 빠지고 현재 참조가 A38로 연결되는지 확인합니다. |
A38 | 활성 상태인 병합 대상으로 유지 | 병합 대상 레코드가 있는지 확인합니다. |
A52 | 변경분에 없음 | 변경되지 않은 레코드가 활성 상태로 남아 있는지 확인합니다. |
A65 | 레코드 추가 | 새 ID가 한 번만 나타나는지 확인합니다. |
변경분을 적용한 후 활성 상태여야 하는 ID는 A14, A38, A52, A65입니다. 두 버전 모두 활성 레코드가 네 개이므로 행 수만 세면 ID가 바뀐 사실을 놓칩니다. A38이 없다면 구매자는 R13b 승인을 보류하고 공급업체에 끊어진 참조를 수정해 달라고 요청합니다. 이 예에서는 검증을 통과한 후 구매자가 R13b 승인과 기준 버전 불일치로 R13 보류를 기록하고 각 패키지의 매니페스트 다이제스트를 남깁니다.
현재 및 과거 버전의 참조를 계속 사용할 수 있게 관리하기
삭제된 레코드를 대신하는 ID가 있는지 물어보세요. OpenAlex는 다른 저작물로 병합된 저작물의 ID를 삭제 파일에 포함합니다. 별도의 병합 매핑에서는 목록에 있는 ID의 현재 병합 대상을 파악할 수 있는 범위에서 제공합니다. 계약상 식별자를 보관할 수 있다면 공급받은 ID, 현재 연결되는 대상, 그 대상을 확인하는 데 사용한 납품 버전을 기록하세요. 해당 릴리스에서 병합 대상이 활성 상태인지 확인하세요. OpenAlex 동기화 문서
테이블 마이그레이션 후 이전 학습 세트를 재현해야 한다면 이전 선택 조건, 사용할 대상 참조, 그리고 기준 시각이 있다면 그 시간대와 시각의 기준을 기록하세요. 두 선택 방법에 의존하기 전에 관련 시스템에서 각각 실행해 보세요. sapien1이 빈 Delta 테이블을 Iceberg 1.12.0으로 로컬에서 재현한 결과, 이전 스냅샷에는 해당 버전 태그를 통해 계속 접근할 수 있었습니다. 두 번째 Delta 로그 파일의 시각으로 조회했을 때는 Iceberg가 공개한 이력에서 일치하는 항목이 없었습니다. Iceberg 마이그레이션 연구
다음 납품을 위해 결정 기록하기
기준 버전, 받은 릴리스, 매니페스트 식별자 또는 다이제스트, 활성 ID 확인 결과, 해결되지 않은 참조, 승인 또는 수정 요청 결정을 기록하세요. 제거 표시가 계약에서 무엇을 의미하는지 공급업체에 물어보고, 보관하는 복사본이나 식별자에 적용되는 규칙을 따르세요.
납품 검수 기준을 정하는 데 도움이 필요하면 마지막으로 승인한 버전, 업데이트 형식, 내릴 결정을 적어 sapien1에 이메일을 보내세요.
아직 공급업체를 고르고 있다면 AI 학습 데이터 구매 가이드부터 살펴보세요. 작업과 필요한 데이터를 정의하는 데 도움이 필요하다면 데이터 소싱 가이드을 참고하세요.