Chuyển đến nội dung chính

Menu

Cách nghiệm thu dữ liệu AI được giao định kỳ

Ngôn ngữ: Tiếng Việt

Chia sẻ lược đồ dự kiến, tần suất bàn giao và những yếu tố khiến một lô dữ liệu không thể sử dụng. Chúng tôi có thể giúp xác định phạm vi kiểm tra nghiệm thu và lập bản ghi những gì đã đạt hoặc cần chỉnh sửa. Mô tả dự án của bạn cho sapien1

Trước khi áp dụng một đợt giao tập dữ liệu định kỳ, hãy đối chiếu với phiên bản gần nhất mà nhóm của bạn đã chấp nhận. Xác định xem các tệp mới thay thế toàn bộ tập dữ liệu trong phạm vi đã thỏa thuận hay chỉ chứa thay đổi so với một phiên bản gốc cụ thể. Các tệp có thể vượt qua bước kiểm tra dù bản cập nhật dựa trên sai phiên bản.

Kiểm tra phạm vi của đợt giao mới

Yêu cầu mã bản phát hành, phạm vi và bảng kê tệp. Nếu đây là bản thay thế, hãy xác nhận phạm vi của tập dữ liệu đầy đủ. Nếu đây là gói thay đổi, hãy kiểm tra phiên bản gốc bắt buộc và cách nhà cung cấp đánh dấu nội dung được thêm, cập nhật hoặc loại bỏ. Một bản ghi có thể không xuất hiện trong tệp thay đổi vì bản ghi đó vẫn giữ nguyên. AWS Data Exchange mô tả cả tập dữ liệu đầy đủ đã cập nhật và bản sửa đổi chứa dữ liệu mới kể từ bản sửa đổi trước. Tài liệu về bản sửa đổi của AWS Data Exchange

Đối chiếu tên tệp và giá trị kiểm tra của từng tệp với bảng kê đã thống nhất. Sau đó, kiểm tra riêng xem phiên bản gốc và các thay đổi đối với bản ghi có khớp với thỏa thuận giao dữ liệu không. BagIt mô tả bảng kê tệp và cách xác minh giá trị kiểm tra. Đặc tả BagIt

Áp dụng thử bản cập nhật và kiểm tra các bản ghi sau khi cập nhật

Trong ví dụ giả định này, bên mua dùng nguồn cấp dữ liệu danh mục để chọn bản ghi cho một tập huấn luyện. Bên mua yêu cầu phiên bản gốc phải khớp chính xác và mỗi bản ghi hợp nhất mà tập huấn luyện tham chiếu phải có đích còn hoạt động. Phiên bản gần nhất đã được chấp nhận là R12, với các ID đang hoạt động là A14, A27, A38 và A52. Gói đầu tiên của R13 vượt qua bước kiểm tra tệp nhưng yêu cầu R11 làm phiên bản gốc. Bên mua tiếp tục dùng R12 và yêu cầu một gói thay đổi dựa trên R12 hoặc một bản thay thế đầy đủ trong phạm vi đã thỏa thuận.

Nhà cung cấp gửi R13b, một bản sửa đổi chỉ định R12 làm phiên bản gốc. Bên mua kiểm tra các tệp mới rồi áp dụng thay đổi lên một bản sao trong môi trường thử nghiệm được phê duyệt cho dữ liệu đó.

Bản ghiThay đổi trong R13b hoặc trạng thái dự kiếnKiểm tra trước khi chấp nhận R13b
A14Đổi chủ đề từ returns thành exchangesKiểm tra giá trị cũ trong R12 và giá trị mới trong kết quả thử nghiệm.
A27Hợp nhất vào A38Kiểm tra rằng A27 đã rời khỏi tập đang hoạt động và các tham chiếu hiện tại trỏ tới A38.
A38Vẫn hoạt động và là đích của bản ghi hợp nhấtXác minh rằng đích hợp nhất có mặt.
A52Không xuất hiện trong gói thay đổiKiểm tra rằng bản ghi không thay đổi vẫn đang hoạt động.
A65Thêm một bản ghiKiểm tra rằng ID mới chỉ xuất hiện một lần.

Sau khi cập nhật, các ID đang hoạt động phải là A14, A38, A52 và A65. Chỉ đếm số hàng sẽ bỏ sót việc thay đổi ID vì cả hai phiên bản đều có bốn bản ghi đang hoạt động. Nếu thiếu A38, bên mua sẽ tạm giữ R13b và yêu cầu nhà cung cấp sửa tham chiếu bị hỏng. Khi các bước kiểm tra trong ví dụ đều đạt, bên mua ghi lại đã chấp nhận R13b và tạm giữ R13 vì không khớp phiên bản gốc, cùng với giá trị băm của bảng kê cho từng gói.

Duy trì khả năng sử dụng tham chiếu hiện tại và lịch sử

Hỏi xem bản ghi bị loại bỏ có ID thay thế còn hoạt động hay không. OpenAlex liệt kê ID của các công trình đã được hợp nhất vào công trình khác trong tệp xóa. Bản đồ hợp nhất riêng cho biết ID hiện thay thế cho các ID được liệt kê, trong phạm vi thông tin có thể xác định. Nếu thỏa thuận cho phép lưu mã định danh, hãy ghi lại ID được cung cấp, ID mà nó hiện trỏ tới và phiên bản giao dữ liệu dùng để xác định kết quả đó. Xác minh rằng ID thay thế đang hoạt động trong bản phát hành đó. Tài liệu đồng bộ OpenAlex

Nếu cần tái tạo một tập huấn luyện cũ sau khi di chuyển bảng, hãy ghi lại cách chọn phiên bản trước đây, tham chiếu đích đề xuất, cùng múi giờ và nguồn thời gian dùng để xác định mọi mốc cắt. Thử cả hai cách chọn trên các hệ thống liên quan trước khi dựa vào chúng. Trong lần chạy lại cục bộ của sapien1 với các bảng Delta trống và Iceberg 1.12.0, vẫn có thể truy cập bản chụp trước qua thẻ phiên bản của nó. Truy vấn theo thời điểm của tệp nhật ký Delta thứ hai không tìm thấy mục khớp trong lịch sử mà Iceberg công bố. Nghiên cứu về di chuyển dữ liệu với Iceberg

Ghi lại quyết định cho đợt giao tiếp theo

Ghi lại phiên bản gốc, bản phát hành nhận được, mã hoặc giá trị băm của bảng kê, kết quả kiểm tra các ID đang hoạt động, các tham chiếu chưa xử lý và quyết định chấp nhận hay yêu cầu sửa. Hãy hỏi nhà cung cấp về ý nghĩa của tín hiệu loại bỏ theo thỏa thuận và tuân thủ các quy định áp dụng cho mọi bản sao hoặc mã định danh mà bạn giữ lại.

Nếu cần trợ giúp xác định các bước nghiệm thu, hãy gửi email cho sapien1 và nêu phiên bản gần nhất đã chấp nhận, định dạng cập nhật và quyết định bạn cần đưa ra.

Nếu vẫn đang chọn nhà cung cấp, hãy bắt đầu với hướng dẫn cách mua dữ liệu huấn luyện AI. Để được hỗ trợ xác định nhiệm vụ và dữ liệu cần thiết, hãy xem hướng dẫn tìm nguồn dữ liệu.