Tìm dữ liệu để huấn luyện và đánh giá AI
Ngôn ngữ của trang: Tiếng Việt
Mô tả nhiệm vụ của mô hình, dữ liệu bạn cần và mục đích sử dụng được phép. sapien1 có thể giúp xác định các nguồn tiềm năng và xác định phạm vi mẫu cùng các tiêu chí để quyết định có tiếp tục hay không. Mô tả dự án của bạn cho sapien1
Tìm dữ liệu phù hợp với tác vụ mà hệ thống AI của bạn cần thực hiện. sapien1 giúp bạn xác định yêu cầu, tìm các nguồn tiềm năng và đánh giá xem một tập dữ liệu có hữu ích cho huấn luyện, đánh giá hoặc truy xuất thông tin hay không.
Hãy bắt đầu từ hành vi bạn muốn cải thiện, chẳng hạn như hiểu tài liệu, hoàn thành quy trình làm việc, sử dụng công cụ hoặc diễn giải một cảnh. Lựa chọn đó quyết định những ví dụ, ngữ cảnh và kiểm tra chất lượng cần thiết.
Xác định dữ liệu cần phục vụ việc gì
Cùng một bộ dữ liệu có thể dùng cho nhiều mục đích. Ví dụ huấn luyện dạy hệ thống một hành vi. Ví dụ đánh giá kiểm tra hành vi đó. Nội dung truy xuất cung cấp thông tin để hệ thống tham khảo khi trả lời câu hỏi.
Hãy mô tả cách dùng dự kiến trước khi so sánh nguồn. Một ví dụ để huấn luyện tác nhân hỗ trợ có thể kết hợp yêu cầu của người dùng, chính sách áp dụng và hành động đã thực hiện. Tác vụ đánh giá còn cần một cách rõ ràng để kiểm tra quyết định có đúng hay không. Bộ dữ liệu truy xuất cần chứa chính các chính sách và đủ ngữ cảnh để biết phiên bản nào áp dụng.
Những mục cần có trong bản yêu cầu tìm dữ liệu
| Yêu cầu | Nội dung cần mô tả |
|---|---|
| Tác vụ | Mô hình hoặc tác nhân phải làm gì và hiện gặp khó ở đâu |
| Phạm vi | Lĩnh vực, ngôn ngữ, khu vực, giai đoạn và trường hợp khó có liên quan |
| Dạng dữ liệu | Tài liệu, mã nguồn, bản ghi, âm thanh, hình ảnh, video, dấu vết sử dụng công cụ hoặc kết hợp các dạng này |
| Ngữ cảnh | Nhãn, dấu thời gian, mối quan hệ, chỉ dẫn hoặc kết quả cần để hiểu ví dụ |
| Mục đích sử dụng | Huấn luyện, đánh giá hoặc truy xuất thông tin, kể cả cách truy cập dữ liệu |
| Nghiệm thu | Mẫu hữu ích cần chứng minh điều gì trước khi mở rộng dự án |
Bản yêu cầu ban đầu có thể để ngỏ một số câu hỏi. Một tác vụ cụ thể và vài ví dụ đại diện thường là điểm xuất phát tốt hơn so với việc chỉ chốt số lượng tệp.
Đánh giá mẫu trước khi mở rộng dự án
Xem xét mẫu có thể giúp phát hiện ngữ cảnh bị thiếu, nhãn thiếu nhất quán, dữ liệu trùng lặp hoặc tình huống cần thiết chưa được bao quát. Nhóm của bạn cũng có thể thử định dạng đề xuất trong quy trình làm việc của mình. Xem một ví dụ thực tế về cách đánh giá mẫu trong hướng dẫn mua dữ liệu huấn luyện AI của chúng tôi.
Ghi nguồn dữ liệu và những cách sử dụng được phép cùng với kết quả đánh giá kỹ thuật. Phần mô tả tập dữ liệu cần giúp người đọc hiểu rõ nội dung và các hạn chế liên quan. Bạn có thể tham khảo hướng dẫn của Hugging Face về thẻ tập dữ liệu khi viết tài liệu.
Để hiểu cách chủ sở hữu mô tả bộ dữ liệu và xem xét các quyền liên quan, hãy đọc những gì cần chuẩn bị trước khi cấp phép dữ liệu của công ty.
Nếu bạn sở hữu một bộ dữ liệu và muốn trao đổi về nó, hãy mô tả dữ liệu của bạn.
Khi làm dự án với sapien1, hai bên cùng xác định phạm vi tìm dữ liệu, cách xem xét mẫu, hạng mục bàn giao và tiêu chí nghiệm thu. Bước tiếp theo có thể là thu thập dữ liệu có mục tiêu, đánh giá dữ liệu bạn đã có hoặc xây dựng tập tác vụ để đánh giá tác nhân.