メインコンテンツに移動

メニュー

研究

対応を見送ることがあるシステムをどう評価するか

言語: 日本語

二つの処理方法に同じテストケース一覧を使います。各ケースについて、主システムの予測と確信度、引き受けたか見送ったか、代替手段の回答があればその内容、そして最終結果を記録します。この記録を使い、正答率を比較する前に三つの点を確認します。

何件を引き受け、どう選ぶのかを確認する。 カバレッジとは、主システムが引き受けたケースの割合です。六件のテストを再現すると、四件のスコアが同じだったため、確信度のしきい値を変えたときに引き受ける件数が一件から五件に跳ね上がりました。件数を三件に固定すると、同点のグループを分けることができます。スコア順に並べ、同点はファイル内の順で選ぶ場合、行を並べ替えただけで、その三件の誤りがゼロ件または二件になりました。しきい値を使う場合は実際のカバレッジを報告し、件数を固定する場合は同点時のルールと引き受けたケースのIDを記録します。 scikit-learnのスコアしきい値

代替手段に回ったケースで正解数を数える。 別のテストを12件で再現すると、AとBはそれぞれ六件を引き受け、そのうち三件のIDが共通でした。引き受けたケースではAは六件、Bは五件で正解しました。ケースごとに回答が固定された同じ代替手段は、Aが見送ったうち二件、Bが見送ったうち五件で正解しました。処理全体では、Bが10件、Aが8件の正解となり、Bが上回りました。引き受けたケースの正答率と全ケースの正答率を両方報告します。代替手段のバージョンと見送ったケースの結果も報告書と一緒に保存します。 予測システムと代替手段を合わせた評価

どの欠落結果で順位が変わり得るかを確認する。 12件のテストで、両システムが代替手段に回したケースの結果を三件分隠すと、どのように補ってもBが二件上回りました。隠した結果を両システムが共有していたためです。処理経路が異なるケースの結果を六件分隠すと、BからAを引いた差は−4から+2まで広がりました。共通結果として計算するのは、両システムとも回した先で同じケースの同じ結果を使う場合に限ります。どちらも上回る可能性があるなら、処理経路が異なったケースの結果から集め直します。

スコアとともに、全ケース数、引き受けた件数、経路別の正解数、結果がない件数を示します。データがそろっていない場合は、残る範囲を計算したときの前提を明記します。