Makaleyi oku · Kanıtları indir (Markdown)
Transkript puanlarını kontrol etmeye ilişkin kanıtlar
Aşağıdaki örneklerde kurgusal metinler veya herkese açık karşılaştırma testlerine sunulan sonuçların toplu değerleri kullanılmıştır. Sözcük hata oranı (WER), ekleme, silme ve değiştirme hatalarının toplamının referans sözcük sayısına bölünmesiyle hesaplanır. Sonucu yüzde olarak ifade etmek için 100 ile çarpın. JiWER puanlama ve hizalama
Bölüm örneği
Referans bölümleri turn left ve then stop, teslim edilen bölümler ise turn left then ve stop şeklindedir. Puanlama aracı bölümleri ayrı ayrı değerlendirirken then için bir ekleme ve bir silme sayar. Bu, dört referans sözcükte iki hata veya 50% hata oranı demektir. Bölümler birleştirildiğinde her iki tarafta da turn left then stop elde edilir ve dört sözcükte sıfır hata bulunur. Bu işlem, sağlanan bölümlerdeki metinleri karşılaştırır. Sözcüklerin kayıtta ne zaman söylendiğini doğrulamak için sesi ve zaman damgalarını kontrol etmek gerekir. JiWER hizalama
Sessiz klip örneği
Bunlar kurgusal klipler için toplu oranlardır. Konuşma içeren iki klipte toplam sekiz referans sözcük vardır. Üçüncü klibin sessiz olduğu doğrulanmıştır ve bu klip referans sözcük sayısına katkıda bulunmaz.
| Puanlanan klipler | A sisteminin sözcük hataları | B sisteminin sözcük hataları | Referans sözcükler | A sistemi WER | B sistemi WER |
|---|---|---|---|---|---|
| Konuşma içeren iki klip | 0 | 1 | 8 | 0% | 12.5% |
| Konuşma içeren iki klip ve bir sessiz klip | 2 | 1 | 8 | 25% | 12.5% |
A sistemi sessiz klipte iki sözcük üretti. B sistemi ise bu klibi boş bıraktı. İstenmeyen sözcükler içeren ve sessiz olduğu doğrulanmış klipleri, toplu sözcük hata oranından ayrı raporlayın. Referans metni eksik olan kliplere ayrı bir durum atayın. JiWER 4 boş referans kuralları
Noktalama işareti testi
JiWER 4.0.0, iki kurgusal metin çifti üzerinde çalıştırıldı ve isteğe bağlı noktalama işareti kaldırma işlemi her iki tarafa da uygulandı. offset -5 meters ve offset 5 meters aynı hale geldi. offset 1.5 meters ve offset 15 meters için de aynı sonuç elde edildi. Dönüşümden sonra her iki karşılaştırmada da WER 0% çıktı. Her iki çiftte de özgün sayısal alanlar birbirinden farklıydı. JiWER noktalama işareti kaldırma
Whisper testi
Ayrı bir kurgusal örnekte, Whisper'ın sabitlenmiş İngilizce normalleştirme aracı offset negative one point five meters ifadesini offset -one.5 meters ifadesine dönüştürür. Bir temizleme işleminden sonra sabit tutulan tahmin offset one.5 meters olur. Metinler üç sözcükten birinde farklıdır; bu da 33.3% WER anlamına gelir. İkinci bir işlem, kaydedilmiş referansı offset one.5 meters ifadesine dönüştürür. Aynı tahminle karşılaştırıldığında hata sayısı sıfıra iner. Bu yeniden değerlendirme metin puanlamasını test eder. Whisper sürümü · Sabitlenmiş İngilizce normalleştirme aracı
Puan karşılaştırması
İki modelin kayıtlı çıktılarını ve temizlenmiş GigaSpeech bölümünü klip kimliğine göre eşleştirin. İki modelin sunumları aynı klip kimliklerini içerir ve her klip için özgün referansları aynıdır. Temizlenmiş bölümle kesişimde 18,760 klip bulunur. Aynı kümeyi özgün ve temizlenmiş referanslarla puanlayın. Her modelin kayıtlı tahmin metnini puanlama araçları arasında sabit tutun. Her revizyon kendi İngilizce normalleştirme işlemini sağlar. Hizalamada, bileşik sözcük birleştirmesi etkinleştirilmiş Kaldialign 0.12.0 kullanılır. Bölme işlemini yapmadan önce eşleştirilmiş kliplerdeki hataları ve referans sözcükleri toplayın.
Puanlama revizyonları edd68424736537b6d0191be325ae3605c33de284 ve f58d58a3f98eb9d5c2dd284ce85954b3cd801759 şeklindedir. Önceki puanlama aracı · Güncellenmiş puanlama aracı
| Referanslar | Model | Önceki hata / sözcük sayısı | Önceki WER | Güncellenmiş hata / sözcük sayısı | Güncellenmiş WER |
|---|---|---|---|---|---|
| Özgün | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Özgün | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Temizlenmiş | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Temizlenmiş | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
Özgün 3B GigaSpeech manifestinde, GigaSpeech'in belgelenmiş dört noktalama işareti türü yeni normalleştirme işleminden önce kaldırıldığında, 19,898 satırın tamamında önceki referans ve tahmin tokenları yeniden elde edilir. Temizlenmiş 0.6B oranları aynı yüzdeye yuvarlanır; güncellenmiş kurallarla beş hata daha az bulunur. Bunlar, tek bir yayıncının kayıtlı sunumlarının yeniden değerlendirilmiş sonuçlarıdır. Sabitlenmiş puanlama ayarları altında bu çıktılar üzerindeki etkiyi gösterirler. GigaSpeech metin ön işleme
Sabitlenmiş 3B sunumu · Sabitlenmiş 0.6B sunumu · Sabitlenmiş temizlenmiş referanslar
Kayıtlı puan testi
Kurgusal referans we [need to leave] now, tahmin ise we now şeklindedir. Önceki puanlama aracı köşeli parantez içindeki üç sözcüğü kaldırır ve çifti 0% WER ile puanlar. Puan dosyası korunduğunda güncellenmiş puanlama aracı 0% döndürür ve hiçbir çifti hizalamaz. Yeniden hesaplama istendiğinde ise bir çifti hizalar, köşeli parantez içindeki sözcükleri referans sözcükler olarak tutar ve beş sözcükte üç silme, yani 60% sonucu verir. Birleştirilen değişiklik, yeniden hesaplama seçeneğini belgeler. Open ASR puanlama değişikliği
Kayıt testi
Eşleştirilmiş 18,760 klibi, GigaSpeech klip kimliğinde kodlanan özgün kayda göre gruplandırın. 131 grubun her biri için o gruptaki tüm klipleri her iki sistemin sonuçlarından çıkarın ve kalan referans sözcükleri kullanarak farkı yeniden hesaplayın. Fark, 0.6B WER değerinden 3B WER değerinin çıkarılmasıyla bulunur. Temizlenmiş referanslar ve yeni puanlama aracı kullanıldığında tam kümedeki fark 100 × (29,336 − 27,506) / 397,143, yani 0.460791 yüzde puandır. 131 çıkarma işleminin sonuçları 0.430797 ile 0.478149 yüzde puan arasında değişir. Her çıkarma işleminde sıralama aynı kalır. Bu işlem, eşleştirilmiş kümede her seferinde bir kaydın çıkarılmasına karşı duyarlılığı kontrol eder. GigaSpeech kayıt ve bölüm kimlikleri