Penyelidikan
Cara menghasilkan semula dan membandingkan skor chrF seluruh korpus
Untuk menghasilkan semula skor chrF seluruh korpus, simpan nama, versi dan tetapan metrik serta input yang tepat. Simpan fail ramalan dan senarai fail rujukan mengikut susunannya, bersama jumlah semak masing-masing. Simpan ID segmen yang tetap atau rekod lain yang menunjukkan padanan antara ramalan dan segmen dalam setiap fail rujukan.
Contoh ini menggunakan teks rekaan, dua segmen dan tetapan lalai chrF2 dalam SacreBLEU 2.6.0.
Gunakan susunan daripada penilaian asal
SacreBLEU memilih satu rujukan bagi setiap ramalan. Ia menggunakan kiraan daripada rujukan dengan skor ayat tertinggi. Jika skornya sama tepat, rujukan pertama dipilih. Untuk mengira chrF2 seluruh korpus, kiraan n-gram yang dipilih dijumlahkan dahulu.
Dalam contoh pertama, kedua-dua rujukan mendapat skor 6.25 bagi ramalan pertama A. Kiraan n-gram rujukan itu berbeza. Menukar susunan fail menurunkan skor korpus A daripada 79.03 kepada 39.48. B kekal pada 64.31, lalu pemenang berubah. API dan baris perintah memberikan hasil yang sama. Keempat-empat ujian mempunyai tandatangan metrik yang sama. Gunakan fail dalam susunan asal untuk menyemak nilai yang dilaporkan.
Bandingkan kedua-dua sistem dalam setiap susunan yang munasabah
Jika susunan asal tidak pasti, catat susunan yang munasabah dan kira skor kedua-dua sistem dalam setiap susunan itu. Kira perbezaan dalam setiap ujian sebelum merumuskan julat perbezaan.
Dalam contoh lain dengan tiga fail rujukan, skor A berjulat antara 22.67 hingga 79.03 dan skor B antara 16.33 hingga 43.33. Julat itu bertindih. Namun, dalam kesemua enam susunan yang digunakan untuk kedua-dua sistem, A mendahului dengan 6.33 hingga 35.69 mata, berdasarkan skor sebelum dibundarkan. Jika pemenang bergantung pada susunan, nyatakan perkara itu. Jika pemenangnya sama, nyatakan susunan bersama yang menyokong kesimpulan itu. Dapatkan semula susunan asal untuk menyemak nilai asal.
Kira semula skor apabila rujukan berubah
Rujukan baharu boleh menaikkan skor sesuatu ayat sambil menurunkan chrF2 seluruh korpus. Dalam contoh ketiga, penambahan satu fail rujukan menaikkan skor ayat pertama A daripada 6.25 kepada 6.94. Skor ayat kedua kekal pada 100. Purata skor ayat A naik, manakala skor korpusnya turun daripada 79.03 kepada 43.60. B kekal pada 64.31. Rujukan yang ditambah bagi segmen pertama memperoleh skor ayat yang lebih tinggi, dan kedua-dua susunan memberi hasil korpus yang sama. Kiraan terpilih itu mengubah bilangan padanan dan penyebut dalam pengiraan korpus.
Apabila rujukan berubah, kira skor kedua-dua sistem dengan fail tepat dalam susunan setiap versi. Simpan keempat-empat hasil bersama supaya pembaca dapat membandingkan kedua-dua sistem bagi setiap versi dan melihat kesan perubahan. Nyatakan sama ada hasil itu ialah chrF2 seluruh korpus atau purata skor ayat.
Pemilihan rujukan dan pengiraan seluruh korpus dalam SacreBLEU 2.6.0