# Paano suriin ang marka ng transkripsiyon bago ito tanggapin

Hingin ang listahan ng mga clip, ang reference na teksto, ang mga isinumiteng transcript, at ang scoring settings. Binibilang ng word error rate ang mga salitang napalitan, nalaktawan, o naidagdag sa bawat 100 salita ng reference. Kahit mababa ang rate, maaari pa ring hindi mapansin ang mga error na mahalaga sa trabaho, gaya ng nawawalang minus sign o salitang nasa maling bahagi ng recording. Suriin ang mga detalyeng ito bago tanggapin ang delivery. [Paano kinukuwenta ang word error rate](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Tingnan kung nasa tamang bahagi ng recording ang mga salita

Halimbawang may dalawang segment ang reference, `turn left` at `then stop`. Ang isinumite ay `turn left then` at `stop`. Kapag pinagsama ang mga segment, 0% ang word error rate dahil tama ang ayos ng lahat ng apat na salita. Kapag magkahiwalay ang pag-score, 50% ang rate dahil nadagdag ang `then` sa unang segment at nawala ito sa ikalawa. Suriin nang hiwalay ang bawat segment kung mahalaga sa trabaho ang mga hangganan nito. [Halimbawa sa dalawang segment](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#segment-example)

## Isama sa test ang mga tahimik na clip

Sa isang kathang-isip na test sa dalawang clip na may sinasalitang salita, 0% ang word error rate ng system A at 12.5% ang sa system B. Nagdagdag kami ng isang clip na natiyak na tahimik. Nakagawa ang A ng dalawang salita sa clip na iyon, at tumaas ang rate nito sa 25%. Nanatili sa 12.5% ang B. Kung may mga tahimik na bahagi ang delivery, iulat kung ilang clip na natiyak na tahimik ang may hindi dapat lumabas na teksto. Lagyan ng hiwalay na marka ang mga clip na walang reference para hindi mabilang na tahimik. [Halimbawa ng tahimik na clip](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Basahin ang mga numero sa orihinal na teksto

Sa isang test, itinuring na magkapareho ng scoring rules ang `offset -5 meters` at `offset 5 meters`. Ganoon din ang `offset 1.5 meters` at `offset 15 meters`. Sa hiwalay na test sa Whisper, napanatili ng unang pag-normalize ang minus sign mula sa “negative one point five”. Nawala ito sa ikalawang pag-normalize. Para sa parehong sagot na walang sign, bumaba ang word error rate mula 33.3% hanggang 0%. Kung mahalaga ang mga numero, basahin ang mga ito sa orihinal na teksto at itala kung ilang beses na-normalize ang bawat teksto. [Test sa bantas](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test sa Whisper](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#whisper-test)

## I-score muli ang parehong mga clip kapag nagbago ang mga tuntunin

Sinuri namin ang mga na-save na transcript ng dalawang ARK-ASR model sa parehong 18,760 clip ng GigaSpeech. Gamit ang orihinal na mga reference, itinaas ng update sa Open ASR ang word error rate ng mas malaking model mula 6.93% hanggang 15.11% at ng mas maliit na model mula 7.39% hanggang 15.50%. Binilang ng mga bagong tuntunin bilang mga salita ang mga marker ng bantas gaya ng `<COMMA>`. Sa parehong mga clip na may nilinis na reference, ang word error rate ng mas malaking model ay 6.93% at ang sa mas maliit ay 7.39%, kapag ni-round sa dalawang decimal place, gamit man ang luma o bagong tuntunin. [Paghahambing ng mga score](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#score-comparison)

Kapag nagbago ang scoring rules, kalkulahin muli ang dalawang score gamit ang parehong mga clip at reference. Sa hiwalay na kathang-isip na halimbawa, ibinalik ng na-update na scoring program ang dating resulta mula sa na-save na file hanggang sa tahasan naming ipagawa ang muling pagkalkula. Tiyaking tumakbo muli ang program bago ihambing ang mga resulta. [Test sa na-save na score](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Tingnan kung gaano kalaki ang epekto ng isang recording kapag dikit ang resulta

Maraming clip ang maaaring magmula sa iisang recording. Sa test ng GigaSpeech, nag-alis kami ng isang buong recording sa bawat pag-ulit at inihambing ang mga model sa mga natirang clip. Gamit ang mga nilinis na reference at ang mga bagong tuntunin, lamang ang mas malaking model ng 0.46 percentage point sa kabuuang 131 recording. Nasa 0.43 hanggang 0.48 point ang lamang kapag may inalis na isang recording. Gamitin ang pagsusuring ito para malaman kung isang recording lang ang nagtatakda ng panalo sa dikit na paghahambing. [Test kada recording](https://sapien1.com/tl/research/transcript-score-acceptance/evidence.html#recording-test)
