# Transkript puanlarını kontrol etmeye ilişkin kanıtlar

Aşağıdaki örneklerde kurgusal metinler veya herkese açık karşılaştırma testlerine sunulan sonuçların toplu değerleri kullanılmıştır. Sözcük hata oranı (WER), ekleme, silme ve değiştirme hatalarının toplamının referans sözcük sayısına bölünmesiyle hesaplanır. Sonucu yüzde olarak ifade etmek için 100 ile çarpın. [JiWER puanlama ve hizalama](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Bölüm örneği

Referans bölümleri `turn left` ve `then stop`, teslim edilen bölümler ise `turn left then` ve `stop` şeklindedir. Puanlama aracı bölümleri ayrı ayrı değerlendirirken `then` için bir ekleme ve bir silme sayar. Bu, dört referans sözcükte iki hata veya 50% hata oranı demektir. Bölümler birleştirildiğinde her iki tarafta da `turn left then stop` elde edilir ve dört sözcükte sıfır hata bulunur. Bu işlem, sağlanan bölümlerdeki metinleri karşılaştırır. Sözcüklerin kayıtta ne zaman söylendiğini doğrulamak için sesi ve zaman damgalarını kontrol etmek gerekir. [JiWER hizalama](https://jitsi.github.io/jiwer/usage/#alignment)

## Sessiz klip örneği

Bunlar kurgusal klipler için toplu oranlardır. Konuşma içeren iki klipte toplam sekiz referans sözcük vardır. Üçüncü klibin sessiz olduğu doğrulanmıştır ve bu klip referans sözcük sayısına katkıda bulunmaz.

| Puanlanan klipler | A sisteminin sözcük hataları | B sisteminin sözcük hataları | Referans sözcükler | A sistemi WER | B sistemi WER |
| --- | ---: | ---: | ---: | ---: | ---: |
| Konuşma içeren iki klip | 0 | 1 | 8 | 0% | 12.5% |
| Konuşma içeren iki klip ve bir sessiz klip | 2 | 1 | 8 | 25% | 12.5% |

A sistemi sessiz klipte iki sözcük üretti. B sistemi ise bu klibi boş bıraktı. İstenmeyen sözcükler içeren ve sessiz olduğu doğrulanmış klipleri, toplu sözcük hata oranından ayrı raporlayın. Referans metni eksik olan kliplere ayrı bir durum atayın. [JiWER 4 boş referans kuralları](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Noktalama işareti testi

JiWER 4.0.0, iki kurgusal metin çifti üzerinde çalıştırıldı ve isteğe bağlı noktalama işareti kaldırma işlemi her iki tarafa da uygulandı. `offset -5 meters` ve `offset 5 meters` aynı hale geldi. `offset 1.5 meters` ve `offset 15 meters` için de aynı sonuç elde edildi. Dönüşümden sonra her iki karşılaştırmada da WER 0% çıktı. Her iki çiftte de özgün sayısal alanlar birbirinden farklıydı. [JiWER noktalama işareti kaldırma](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper testi

Ayrı bir kurgusal örnekte, Whisper'ın sabitlenmiş İngilizce normalleştirme aracı `offset negative one point five meters` ifadesini `offset -one.5 meters` ifadesine dönüştürür. Bir temizleme işleminden sonra sabit tutulan tahmin `offset one.5 meters` olur. Metinler üç sözcükten birinde farklıdır; bu da 33.3% WER anlamına gelir. İkinci bir işlem, kaydedilmiş referansı `offset one.5 meters` ifadesine dönüştürür. Aynı tahminle karşılaştırıldığında hata sayısı sıfıra iner. Bu yeniden değerlendirme metin puanlamasını test eder. [Whisper sürümü](https://github.com/openai/whisper/releases/tag/v20250625) · [Sabitlenmiş İngilizce normalleştirme aracı](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Puan karşılaştırması

İki modelin kayıtlı çıktılarını ve temizlenmiş GigaSpeech bölümünü klip kimliğine göre eşleştirin. İki modelin sunumları aynı klip kimliklerini içerir ve her klip için özgün referansları aynıdır. Temizlenmiş bölümle kesişimde **18,760 klip** bulunur. Aynı kümeyi özgün ve temizlenmiş referanslarla puanlayın. Her modelin kayıtlı tahmin metnini puanlama araçları arasında sabit tutun. Her revizyon kendi İngilizce normalleştirme işlemini sağlar. Hizalamada, bileşik sözcük birleştirmesi etkinleştirilmiş Kaldialign 0.12.0 kullanılır. Bölme işlemini yapmadan önce eşleştirilmiş kliplerdeki hataları ve referans sözcükleri toplayın.

Puanlama revizyonları `edd68424736537b6d0191be325ae3605c33de284` ve `f58d58a3f98eb9d5c2dd284ce85954b3cd801759` şeklindedir. [Önceki puanlama aracı](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Güncellenmiş puanlama aracı](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referanslar | Model | Önceki hata / sözcük sayısı | Önceki WER | Güncellenmiş hata / sözcük sayısı | Güncellenmiş WER |
| --- | --- | ---: | ---: | ---: | ---: |
| Özgün | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Özgün | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Temizlenmiş | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Temizlenmiş | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Özgün 3B GigaSpeech manifestinde, GigaSpeech'in belgelenmiş dört noktalama işareti türü yeni normalleştirme işleminden önce kaldırıldığında, 19,898 satırın tamamında önceki referans ve tahmin tokenları yeniden elde edilir. Temizlenmiş 0.6B oranları aynı yüzdeye yuvarlanır; güncellenmiş kurallarla beş hata daha az bulunur. Bunlar, tek bir yayıncının kayıtlı sunumlarının yeniden değerlendirilmiş sonuçlarıdır. Sabitlenmiş puanlama ayarları altında bu çıktılar üzerindeki etkiyi gösterirler. [GigaSpeech metin ön işleme](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Sabitlenmiş 3B sunumu](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Sabitlenmiş 0.6B sunumu](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Sabitlenmiş temizlenmiş referanslar](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Kayıtlı puan testi

Kurgusal referans `we [need to leave] now`, tahmin ise `we now` şeklindedir. Önceki puanlama aracı köşeli parantez içindeki üç sözcüğü kaldırır ve çifti 0% WER ile puanlar. Puan dosyası korunduğunda güncellenmiş puanlama aracı 0% döndürür ve hiçbir çifti hizalamaz. Yeniden hesaplama istendiğinde ise bir çifti hizalar, köşeli parantez içindeki sözcükleri referans sözcükler olarak tutar ve beş sözcükte üç silme, yani 60% sonucu verir. Birleştirilen değişiklik, yeniden hesaplama seçeneğini belgeler. [Open ASR puanlama değişikliği](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Kayıt testi

Eşleştirilmiş 18,760 klibi, GigaSpeech klip kimliğinde kodlanan özgün kayda göre gruplandırın. 131 grubun her biri için o gruptaki tüm klipleri her iki sistemin sonuçlarından çıkarın ve kalan referans sözcükleri kullanarak farkı yeniden hesaplayın. Fark, 0.6B WER değerinden 3B WER değerinin çıkarılmasıyla bulunur. Temizlenmiş referanslar ve yeni puanlama aracı kullanıldığında tam kümedeki fark `100 × (29,336 − 27,506) / 397,143`, yani **0.460791 yüzde puandır**. 131 çıkarma işleminin sonuçları **0.430797 ile 0.478149 yüzde puan** arasında değişir. Her çıkarma işleminde sıralama aynı kalır. Bu işlem, eşleştirilmiş kümede her seferinde bir kaydın çıkarılmasına karşı duyarlılığı kontrol eder. [GigaSpeech kayıt ve bölüm kimlikleri](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
