Pular para o conteúdo principal

Menu

Pesquisa

Como reproduzir e comparar pontuações de chrF no corpus

Idioma: Português (Brasil)

Para reproduzir uma pontuação de chrF no corpus, guarde o nome, a versão e as opções da métrica e as entradas exatas. Salve o arquivo de previsões e a lista ordenada de arquivos de referência, com suas somas de verificação. Guarde IDs de segmento estáveis ou outro registro que mostre a correspondência entre as previsões e os segmentos de cada arquivo de referência.

Os exemplos usam textos fictícios, dois segmentos e as configurações padrão de chrF2 do SacreBLEU 2.6.0.

Use a ordem da avaliação original

O SacreBLEU escolhe uma referência para cada previsão. Usa as contagens da referência com a maior pontuação para a frase. Em caso de empate exato, mantém a primeira. Para calcular o chrF2 no corpus, primeiro soma as contagens de n-gramas selecionadas.

No primeiro exemplo, as duas referências empatam em 6.25 para a primeira previsão de A. As contagens de n-gramas são diferentes. Inverter a ordem dos arquivos faz a pontuação de A no corpus cair de 79.03 para 39.48. B fica em 64.31 e muda quem está na frente. A API e a linha de comando dão o mesmo resultado, e as quatro execuções têm a mesma assinatura da métrica. Use os arquivos na ordem original para conferir o valor informado.

Compare os dois sistemas em cada ordem plausível

Se houver dúvida sobre a ordem original, anote as ordens plausíveis e calcule a pontuação dos dois sistemas para cada uma. Calcule a diferença em cada execução antes de resumir o intervalo de diferenças.

Em outro exemplo, com três arquivos de referência, as pontuações de A vão de 22.67 a 79.03 e as de B vão de 16.33 a 43.33. Os intervalos se sobrepõem. Nas seis ordens usadas para ambos os sistemas, porém, A fica na frente por 6.33 a 35.69 pontos, calculados com as pontuações sem arredondamento. Se a ordem mudar quem vence, registre isso. Se o mesmo sistema ficar na frente, informe quais ordens comuns sustentam a conclusão. Recupere a ordem original para verificar o valor inicial.

Recalcule as pontuações quando as referências mudarem

Uma nova referência pode aumentar a pontuação de uma frase e reduzir o chrF2 do corpus. No terceiro exemplo, acrescentar um arquivo de referência aumenta a pontuação da primeira frase de A de 6.25 para 6.94. A segunda fica em 100. A média por frase de A sobe, enquanto a pontuação no corpus desce de 79.03 para 43.60. B continua em 64.31. A referência adicionada para o primeiro segmento tem pontuação de frase estritamente maior, e as duas ordens dão o mesmo resultado no corpus. As contagens escolhidas mudam tanto as correspondências quanto os denominadores usados no cálculo do corpus.

Quando as referências mudarem, avalie os dois sistemas com os arquivos exatos e na ordem de cada versão. Guarde os quatro resultados juntos para mostrar a comparação direta em cada versão e o efeito da revisão. Indique se o resultado representa o chrF2 do corpus ou a média das pontuações por frase.

Seleção de referências e cálculo no corpus no SacreBLEU 2.6.0