Basahin ang artikulo · I-download ang ebidensiya (Markdown)
Ebidensiya para sa pagsusuri ng mga marka ng transkripsiyon
Ang mga halimbawa sa ibaba ay gumagamit ng kathang teksto o pinagsama-samang resulta mula sa mga isinumite sa pampublikong benchmark. Kinukuha ang word error rate (WER) sa pamamagitan ng paghahati ng kabuuang bilang ng mga idinagdag, inalis at pinalitang salita sa bilang ng mga salita sa reference. I-multiply ang resulta sa 100 upang makuha ang porsiyento. Pag-score at pag-align sa JiWER
Halimbawa ng mga segment
Ang mga reference segment ay turn left at then stop. Ang mga ibinigay na segment ay turn left then at stop. Kapag magkahiwalay na ini-score ang mga segment, binibilang ng scorer ang isang pagdagdag at isang pag-alis para sa then. Dalawang error iyon sa apat na salita sa reference, o 50%. Kapag pinagsama ang mga segment, turn left then stop ang makukuha sa magkabilang panig, na may zero error sa apat na salita. Inihahambing nito ang teksto sa mga ibinigay na segment. Para matiyak kung kailan binigkas ang mga salita sa recording, kailangang suriin ang audio at mga timestamp. Pag-align sa JiWER
Halimbawa ng tahimik na clip
Ito ang mga pinagsama-samang rate para sa mga kathang clip. Ang dalawang clip na may pagsasalita ay may walong salita sa reference. Ang ikatlong clip ay napatunayang tahimik at walang idinadagdag na salita sa reference.
| Mga clip na na-score | Mga error sa salita ng System A | Mga error sa salita ng System B | Mga salita sa reference | WER ng A | WER ng B |
|---|---|---|---|---|---|
| Dalawang clip na may pagsasalita | 0 | 1 | 8 | 0% | 12.5% |
| Dalawang clip na may pagsasalita at isang tahimik na clip | 2 | 1 | 8 | 25% | 12.5% |
Nakagawa ang A ng dalawang salita sa tahimik na clip. Iniwan naman ito ng B na walang laman. Iulat nang hiwalay sa pinagsama-samang word error rate ang mga napatunayang tahimik na clip na may mga hindi inaasahang salita. Bigyan ng sariling status ang mga clip na walang reference na teksto. Mga tuntunin ng JiWER 4 para sa mga reference na walang laman
Test sa bantas
Ginamit ang JiWER 4.0.0 sa dalawang pares ng kathang teksto, kung saan inalis ang bantas sa magkabilang panig bilang opsyonal na hakbang. Nagiging magkapareho ang offset -5 meters at offset 5 meters. Gayundin ang offset 1.5 meters at offset 15 meters. Parehong nagbibigay ng 0% WER ang dalawang paghahambing matapos ang pagbabago. Magkaiba ang orihinal na mga numerong nakasaad sa bawat pares. Pag-alis ng bantas sa JiWER
Test sa Whisper
Sa isang hiwalay na kathang halimbawa, binabago ng nakatakdang bersiyon ng English normalizer ng Whisper ang offset negative one point five meters tungo sa offset -one.5 meters. Ang hindi binagong prediction matapos ang isang paglilinis ay offset one.5 meters. Nagkakaiba ang mga teksto sa isang salita sa tatlo, o 33.3% WER. Sa ikalawang pagproseso, binabago ang naka-save na reference tungo sa offset one.5 meters. Kung ihahambing sa parehong prediction, nagiging zero ang bilang ng error. Sinusubukan ng pagproseso muli na ito ang pag-score ng teksto. Release ng Whisper · Nakatakdang bersiyon ng English normalizer
Paghahambing ng mga marka
Itugma ayon sa clip ID ang mga naka-save na output ng dalawang model at ang nilinis na split ng GigaSpeech. Pareho ang mga clip ID sa mga isinumite para sa dalawang model, at magkapareho rin ang orihinal na reference para sa bawat clip. May 18,760 clip na kapwa nasa mga isinumite at sa nilinis na split. I-score ang parehong hanay gamit ang orihinal at nilinis na mga reference. Panatilihing hindi nagbabago ang naka-save na prediction na teksto ng bawat model sa lahat ng scorer. Bawat rebisyon ay may sarili nitong English normalization. Ginagamit sa pag-align ang Kaldialign 0.12.0 na naka-enable ang pagsasama ng compound. Pagsamahin ang mga error at salita sa reference sa lahat ng magkatugmang clip bago maghati.
Ang mga rebisyon ng pag-score ay edd68424736537b6d0191be325ae3605c33de284 at f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Naunang scorer · Na-update na scorer
| Mga reference | Modelo | Naunang mga error / salita | Naunang WER | Mga error / salita matapos ang update | WER matapos ang update |
|---|---|---|---|---|---|
| Orihinal | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Orihinal | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Nilinis | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Nilinis | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
Sa orihinal na 3B manifest ng GigaSpeech, kapag inalis ang apat na dokumentadong uri ng punctuation marker ng GigaSpeech bago ang mas bagong normalization, naibabalik ang mga naunang token ng reference at prediction sa lahat ng 19,898 row. Ang mga rate ng nilinis na 0.6B ay nagiging parehong porsiyento kapag ni-round, na may limang mas kaunting error sa ilalim ng na-update na mga tuntunin. Mga muling pagproseso ito ng mga naka-save na submission mula sa isang publisher. Ipinapakita ng mga ito ang epekto sa mga output na ito sa ilalim ng nakatakdang mga setting ng pag-score. Paunang pagproseso ng teksto sa GigaSpeech
Nakatakdang bersiyon ng submission para sa 3B · Nakatakdang bersiyon ng submission para sa 0.6B · Nakatakdang bersiyon ng mga nilinis na reference
Test sa naka-save na marka
Ang kathang reference ay we [need to leave] now. Ang prediction ay we now. Inaalis ng naunang scorer ang tatlong salita sa loob ng mga bracket at binibigyan ang pares ng 0% WER. Kapag pinanatili ang score file, ibinabalik ng na-update na scorer ang 0% at walang inia-align na pares. Kapag hiniling ang muling pagkalkula, nag-a-align ito ng isang pares, pinapanatili ang mga salita sa loob ng bracket bilang mga salita sa reference, at nagbabalik ng tatlong inalis na salita sa kabuuang limang salita, o 60%. Nakadokumento sa pinagsamang pagbabago ang opsyon para sa muling pagkalkula. Pagbabago sa pag-score ng Open ASR
Test sa recording
Pangkatin ang 18,760 magkatugmang clip ayon sa orihinal na recording na nakasaad sa GigaSpeech clip ID. Para sa bawat isa sa 131 pangkat, alisin ang lahat ng clip nito sa parehong system at kalkulahin muli ang agwat gamit ang natitirang mga salita sa reference. Ang agwat ay WER ng 0.6B na binawasan ng WER ng 3B. Gamit ang mga nilinis na reference at ang mas bagong scorer, ang agwat sa buong hanay ay 100 × (29,336 − 27,506) / 397,143, o 0.460791 percentage point. Ang mga resulta ng 131 pagtanggal ay mula 0.430797 hanggang 0.478149 percentage point. Nananatili ang parehong pagkakasunod ng mga resulta sa bawat pagtanggal. Sinusuri nito kung gaano kalaki ang epekto ng bawat recording sa magkatugmang hanay, isa-isa. Mga identifier ng recording at segment sa GigaSpeech