Riset
Cara mengulang dan membandingkan skor chrF untuk seluruh korpus
Untuk mengulang perhitungan skor chrF pada seluruh korpus, simpan nama dan versi metrik, pengaturan, serta masukan yang persis sama. Simpan berkas prediksi dan daftar berkas rujukan sesuai urutannya, beserta checksum masing-masing. Pertahankan ID segmen yang tetap atau catatan lain yang menunjukkan kecocokan segmen di setiap berkas rujukan dengan prediksinya.
Contoh ini memakai teks rekaan, dua segmen, dan pengaturan standar chrF2 di SacreBLEU 2.6.0.
Gunakan urutan dari penilaian awal
SacreBLEU memilih satu rujukan untuk setiap prediksi. Sistem menggunakan hitungan dari rujukan yang memberi skor kalimat tertinggi dan mempertahankan rujukan pertama jika skornya sama persis. Untuk menghitung chrF2 seluruh korpus, sistem menjumlahkan hitungan n-gram terpilih terlebih dahulu.
Dalam contoh pertama, kedua rujukan sama-sama mendapat 6.25 untuk prediksi pertama A. Hitungan n-gram kedua rujukan berbeda. Menukar urutan berkas menurunkan skor korpus A dari 79.03 ke 39.48. B tetap di 64.31, sehingga pemenangnya berubah. API dan baris perintah memberikan hasil yang sama. Keempat pengujian punya tanda pengenal metrik yang sama. Gunakan berkas dalam urutan awal untuk memeriksa nilai yang dilaporkan.
Bandingkan kedua sistem dalam setiap urutan yang masuk akal
Jika urutan awal belum pasti, catat urutan yang masuk akal dan beri skor pada kedua sistem untuk setiap urutan. Hitung selisihnya dalam setiap pengujian sebelum merangkum rentang selisih.
Dalam contoh lain dengan tiga berkas rujukan, skor A berkisar dari 22.67 hingga 79.03 dan skor B dari 16.33 hingga 43.33. Kedua rentang itu tumpang tindih. Namun, dalam enam urutan yang sama-sama dipakai kedua sistem, A unggul antara 6.33 dan 35.69 poin berdasarkan skor sebelum pembulatan. Jika pemenang bergantung pada urutan, laporkan hal itu. Jika pemenangnya tetap, laporkan urutan bersama yang mendukung kesimpulan itu. Cari urutan awal untuk memeriksa nilai aslinya.
Hitung ulang skor saat rujukan berubah
Rujukan baru bisa menaikkan skor satu kalimat sekaligus menurunkan chrF2 seluruh korpus. Dalam contoh ketiga, satu berkas rujukan tambahan menaikkan skor kalimat pertama A dari 6.25 ke 6.94. Kalimat kedua tetap 100. Rata-rata skor kalimat A naik, tetapi skor korpusnya turun dari 79.03 ke 43.60. B tetap di 64.31. Rujukan tambahan untuk segmen pertama memiliki skor kalimat yang lebih tinggi, dan kedua urutan memberikan skor korpus yang sama. Hitungan yang dipilih mengubah jumlah kecocokan dan penyebut dalam perhitungan korpus.
Jika rujukan berubah, beri skor pada kedua sistem dengan berkas yang tepat sesuai urutan tiap versi. Simpan keempat hasil bersama-sama agar pembaca bisa membandingkan kedua sistem secara langsung untuk tiap versi dan melihat pengaruh perubahan tersebut. Nyatakan apakah hasilnya chrF2 seluruh korpus atau rata-rata skor kalimat.
Pemilihan rujukan dan perhitungan seluruh korpus di SacreBLEU 2.6.0