研究
如何重現倒數排名融合的結果
要重現倒數排名融合(RRF)的結果,先找出每個來源實際送進融合步驟的排序清單。保存這些清單、排名常數、來源權重,以及分組用的 ID。即使分數的計算依據有變,候選結果的 ID 甚至第一名也可能一樣。 RRF 計算公式
比較每份清單貢獻的分數
記下各個來源保留多少筆結果,以及最後最多回傳幾筆。這兩個限制用在不同階段。在一個虛構例子中,把一份輸入清單從一筆加到兩筆,A 就能從第二個來源得到分數,超過 B。所有候選結果都還在合併後的集合裡。完成融合後才把輸出限制為一筆,回傳的仍是 A。 重現輸入清單長度的影響
對於接近截斷位置的候選結果,從每個來源比較保留的名次和得到的分數。候選結果即使少了某份清單的分數,也可能因為還在另一份清單上而被保留。
檢查排名常數和實際權重
如果輸入排名相同,就用排名常數和來源權重重新計算。有個使用三份清單的例子,A 兩次排第一。B 一次排第一,兩次排第十二。當常數是小於 10 的正數時,A 領先。等於 10 時,A 跟 B 同分。大於 10 時,B 領先。如果同分可能影響輸出,記下同分時決定順序的規則。 重現排名常數的影響
檢查每個來源的清單算了幾次。用完整權重把完全相同的副本算進去,等於把這個權重加到原清單上。把原本的權重分給各份副本,加權加總得到的分數都會維持原樣。把所有權重乘上同一個正數,排序也會維持不變。 重現重複來源的影響
下面的例子同時調整清單長度和副本數量。以字詞比對的清單 A, C, B, D 一律全部使用,權重為一。每份語意搜尋清單都取 B, A, D, C 最前面的結果,權重也是一。排名常數是 60。如果有第二份語意搜尋清單,它會與第一份完全一樣。 重現兩種設定的組合
| 每份語意搜尋清單保留的筆數 | 一份語意搜尋清單 | 兩份完全相同的語意搜尋清單 |
|---|---|---|
| 1 | B | B |
| 2 | A | B |
從表格左上走到右下,納入筆數和清單數量都變了,B 還是第一名。一次只改一項設定,就會看到只延長清單會讓 A 變第一,再算入副本就會讓 B 回到第一。
檢查分數是加到哪些 ID 上
如果搜尋的是段落,顯示的卻是文件,請記下每個段落屬於哪份文件,以及在哪一步分組。在一個例子裡,A 的兩個不同段落各自在一份來源清單中排第一。B 的同一個段落在兩份清單都排第二。先在各來源按文件分組再融合,A 排第一。先按段落融合,再從每份文件保留分數最高的段落,B 排第一。兩種輸出都有同樣的四份文件。 重現段落分組的影響