研究
多言語の読解テストを選ぶには
利用者が必要とすることをモデルにさせるテストを選びます。適切な箇所を探す、与えられた文章から答える、別の言語で書かれた質問を理解する。これらは別々の能力です。それぞれを試すと、どの段階を詳しく調べるべきかがわかります。
| 確かめたいこと | 使うテスト | モデルがすること |
|---|---|---|
| 記事の適切な箇所を探せるか | TyDiQA-SelectP | ひとつの記事から該当箇所を選ぶか、答えのある箇所がないと示します。 |
| 答えになる語句を見つけられるか | TyDiQA-GoldP | 答えを含む文章から該当する語句を抜き出します。 |
| 同じ質問に複数の言語で答えられるか | XQuAD または Belebele | XQuAD では翻訳された文章をもとに答え、Belebele では四つの選択肢から選びます。 |
| 質問と文章の言語が違っても答えられるか | MLQA | 別の言語で書かれた文章から答えを見つけます。 |
モデルが答えを見つけられるか確かめる
記事の中から適切な箇所を探すなら TyDiQA-SelectP を使います。短い答えを書く、「はい」「いいえ」で答える、記事に答えがないと示すところまで調べるなら TyDiQA-MinSpan を使います。TyDi QA の質問は、それぞれの言語で直接作られています。 TyDi QA の課題説明
短い抜粋がどれだけ役に立つか調べるには、同じモデルに二度、答えを書かせます。一度は記事全体を、もう一度はその記事から一字一句そのまま抜き出した箇所を渡します。設定、質問、回答形式、正解として認める答え、採点ルールはそろえます。認める答えがすべて両方の文章にあるか確認します。Gold Passage の項目をそのまま使うときは、抜粋と答えの一覧を確認します。質問が同じでも、文章や認める答えはファイルによって異なることがあります。この比較には TyDi QA の開発用ファイルが使えます。Gold Passage の 5,077 問はすべて、18,670 問の主要データにも含まれます。Gold Passage には日本語とタイ語がなく、共通する九つの言語でも、記述式の答えが付いた 1,285 問が含まれていません。言語、記事の題名、質問の正確な文面で照合し、一対一で一致する組だけを使います。 TyDi QA の問題を比較した結果
言語を比べるときは同じ質問を使う
XQuAD では、同じ質問と文章を翻訳したものをモデルに渡します。英語の 1,190 問は SQuAD 1.1 の開発用データから取られています。確認した翻訳ファイルでは問題 ID が共通していました。モデルの調整に SQuAD の開発用データを使った場合は、XQuAD を新しい問題のテストとして使う前に、問題の重複を確認します。 XQuAD の原論文 · 問題の再利用の確認
四つの選択肢からひとつ選ばせたい場合は Belebele を使います。言語や文字体系ごとの 122 ファイルで 900 件の問題 ID が共通しています。選んだ選択肢の番号か文字を保存します。同じ文面の選択肢があると、文面だけではどちらを選んだか判別できないことがあります。該当する問題を除くなら、比較するどの言語でも同じ残りの ID を使います。 言語ごとの読解テストの点数を比べる
質問の言語を変えても文章は同じものを使う
たとえばベトナム語を話す人が英語の文書について質問するなら MLQA を使います。確認した英語版とベトナム語版の開発用ファイルには共通の質問が 511 問あり、英語の文章と正解として認める答えを完全に同じにしたまま、どちらの言語でも質問できます。両方を同じ英語の答えで採点します。そうすると質問の言語を変えて何が変わったかを確認できます。 MLQA の原論文 · 英語版とベトナム語版の比較
文章がどれほど役立つかを別に調べるには、文章を渡す場合と渡さない場合で同じ質問をします。 モデルが文章を使っているか確かめる
必要な言語がテストにあるか確認する
タイ語では、適切な箇所を探せるかは TyDiQA-SelectP、与えた文章から答えになる語句を見つけられるかは XQuAD、正しい選択肢を選べるかは Belebele で調べます。TyDiQA-GoldP の開発用ファイルにはタイ語の質問がありません。比較した四つのデータすべてに含まれるのはアラビア語と英語だけです。対象は TyDi QA の主要データ、TyDi QA Gold Passage、XQuAD、質問と文章が同じ言語の MLQA 開発用ファイルです。 対応言語の確認 · Belebele の言語別ファイル
点数を報告するときは、どの課題、言語、問題数でその点数を出したかを明記します。たとえば TyDi QA の公式採点方式では、どちらもファイルに英語が含まれていても全体平均からは英語を除きます。 TyDi QA の採点方法