跳至主要內容

選單

研究

如何評估可以拒絕接手案例的系統

語言: 繁體中文(台灣)

兩套流程使用同一份測試案例清單。逐一記錄主系統的預測與信心分數、是否接手該案例、備用方案的回答(如有)和最終結果。比較正確率之前,可以用這些紀錄做三項檢查。

確認系統接手多少案例,以及怎麼選。 涵蓋率是主系統接手的案例所占的比例。重跑一項包含六個案例的測試時,因為有四個分數相同,調整信心分數的門檻後,接手的案例數從一個直接跳到五個。把名額固定為三個,就可以拆開這組同分案例。依分數排序、同分時依檔案中的順序選取,只改變資料列順序,就可能讓這三個案例中出現零個或兩個錯誤。使用門檻時,回報實際涵蓋率。使用固定名額時,記錄同分處理規則和接手的案例編號。 scikit-learn 的分數門檻

統計備用方案在實際接到的案例中答對多少。 在另一項包含12個案例的測試中,A 和 B 各接手六個案例,其中三個編號相同。A 在接手的案例中答對六個,B 答對五個。兩套流程使用同一個備用方案,每個案例的回答固定。它在 A 拒絕的案例中答對兩個,在 B 拒絕的案例中答對五個。整套流程算下來,B 答對10個,比 A 的8個多。分別回報接手案例的正確率和完整清單的正確率。備用方案的版本和被拒絕案例的結果應與報告一起保留。 合併評估預測系統和備用方案

確認哪些缺少的結果可能改變排名。 在包含12個案例的測試中,隱藏三個兩套系統都轉交的案例結果後,無論怎麼補上,B 都多答對兩個,因為兩套系統共用每一個隱藏的結果。隱藏六個處理路徑不同的案例結果後,B 減 A 的差值介於 −4 和 +2 之間。只有兩套系統都轉交某個案例時會使用相同結果,才按共用結果計算。如果兩套流程都有可能領先,先找回處理路徑不同的案例結果。

回報分數時,附上案例總數、接手數量、各處理路徑上的正確決策數,以及缺少多少結果。如果資料不完整,說明計算剩餘範圍時用了哪些假設。