Araştırma
Teslimatı kabul etmeden önce transkript puanı nasıl kontrol edilir?
Klip listesini, puanlamada kullanılacak referans metni, teslim edilen transkriptleri ve puanlama ayarlarını isteyin. Sözcük hata oranı, referans metindeki her 100 sözcük başına değiştirilen, atlanan veya eklenen sözcükleri sayar. Oranın düşük olması, eksi işaretinin kaybolması veya bir sözcüğün kaydın yanlış bölümünde yer alması gibi iş açısından önemli hataları gizleyebilir. Teslimatı kabul etmeden önce bu ayrıntılara bakın. Sözcük hata oranı nasıl hesaplanır?
Sözcüklerin kaydın doğru bölümünde olduğunu kontrol edin
Referansın turn left ve then stop olmak üzere iki bölümden oluştuğunu varsayalım. Teslim edilen bölümler turn left then ve stop olsun. Metinler birleştirildiğinde dört sözcük de doğru sırada olduğu için sözcük hata oranı %0'dır. Bölümler ayrı ayrı puanlandığında oran %50 olur. Çünkü then ilk bölüme eklenmiş ve ikinci bölümde yer almamıştır. İş için bölüm sınırları önemliyse her bölümü ayrı puanlayın. Bölümlere göre değerlendirme örneği
Sessiz klipleri teste dahil edin
Kurgusal bir testte iki konuşma klibi için A sisteminin sözcük hata oranı %0, B sistemininki %12,5'ti. Sessiz olduğu doğrulanmış bir klip ekledik. A, bu klipte iki sözcük üretti ve oranı %25'e çıktı. B'nin oranı %12,5'te kaldı. Teslimat sessiz bölümler içeriyorsa, sessizliği doğrulanmış kliplerden kaçında istenmeyen metin bulunduğunu bildirin. Referans metni eksik olan klipleri ayrıca işaretleyin ki sessiz sayılmasınlar. Sessiz klip örneği
Sayıları özgün metinden kontrol edin
Bir testte puanlama kuralları offset -5 meters ile offset 5 meters ifadelerini aynı kabul etti. offset 1.5 meters ile offset 15 meters için de aynı sonuç çıktı. Ayrı bir Whisper testinde ilk normalleştirme “negative one point five” ifadesindeki eksi işaretini korudu. İkinci normalleştirme işareti kaldırdı ve aynı işaretsiz yanıtın sözcük hata oranı %33,3'ten %0'a düştü. Sayılar önemliyse özgün metinlerden kontrol edin ve her metnin kaç kez normalleştirildiğini kaydedin. Noktalama testi · Whisper testi
Kurallar değişirse aynı klipleri yeniden puanlayın
İki ARK-ASR modelinin kaydedilmiş transkriptlerini aynı 18.760 GigaSpeech klibinde puanladık. Özgün referans transkriptleriyle, Open ASR'deki bir puanlama güncellemesi büyük modelin sözcük hata oranını %6,93'ten %15,11'e, küçük modelinkini ise %7,39'dan %15,50'ye çıkardı. Yeni kurallar <COMMA> gibi noktalama işaretleyicilerini sözcük olarak saydı. Aynı kliplerin temizlenmiş referanslarını kullanınca iki modelin oranları, iki ondalık basamağa yuvarlandığında, her iki kural kümesinde de sırasıyla %6,93 ve %7,39 oldu. Puan karşılaştırması
Puanlama kuralları değiştiğinde iki puanı da aynı klipler ve referanslarla yeniden hesaplayın. Ayrı bir kurgusal örnekte güncellenen puanlama programı, açıkça yeniden hesaplamasını isteyene kadar önceki sonucu kayıtlı dosyadan döndürdü. Sonuçları karşılaştırmadan önce hesaplamanın yeniden yapıldığını kontrol edin. Kayıtlı puan testi
Sonuçlar birbirine yakınsa tek bir kaydın etkisini inceleyin
Bazı kayıtlardan çok sayıda klip çıkar. GigaSpeech testinde her seferinde bir kaydı bütünüyle çıkarıp modelleri kalan klipler üzerinde karşılaştırdık. Temizlenmiş referanslar ve yeni kurallarla, 131 kaydın tamamında büyük model 0,46 yüzde puan öndeydi. Tek bir kayıt çıkarıldığında bu fark 0,43 ile 0,48 puan arasında değişti. Birbirine yakın sonuçlarda tek bir kaydın belirleyici olup olmadığını böyle kontrol edebilirsiniz. Kayıt bazında test