Onderzoek
Zo reproduceer je een resultaat van reciprocal rank fusion
Begin bij de geordende lijst die elke bron werkelijk doorgaf aan reciprocal rank fusion (RRF). Bewaar die lijsten, de rangconstante, de brongewichten en de ID’s die voor groepering zijn gebruikt. De kandidaat-ID’s of zelfs het bovenste resultaat kunnen gelijk blijven terwijl de gegevens achter de scores veranderen. RRF-formule
Vergelijk wat elke lijst bijdraagt
Noteer hoeveel resultaten van elke bron meewegen en hoeveel er uiteindelijk worden teruggegeven. Die grenzen gelden in verschillende stappen. In een fictief voorbeeld geeft het verhogen van één invoerlijst van één naar twee resultaten A een bijdrage van een tweede bron. A haalt daardoor B in. Alle kandidaten blijven in de samengevoegde verzameling. Beperk je de uitvoer pas na de volledige fusie tot één resultaat, dan blijft A bovenaan. Proef met invoerdiepte
Vergelijk voor elke kandidaat rond de grens welke positie is meegenomen en wat elke bron bijdraagt. Een kandidaat kan de bijdrage van één lijst verliezen en dankzij een andere lijst in de verzameling blijven.
Controleer de rangconstante en de effectieve gewichten
Als de invoerrangen overeenkomen, herhaal de berekening met de rangconstante en de brongewichten. In een voorbeeld met drie lijsten staat A twee keer op de eerste plaats. B staat één keer eerste en twee keer twaalfde. Bij positieve constanten onder 10 staat A bovenaan, bij 10 speelt A gelijk met B en boven 10 staat B voor. Bewaar de regel die gelijke scores ordent als die de uitvoer kunnen beïnvloeden. Proef met de rangconstante
Controleer hoe vaak de lijst van elke bron meetelde. Een exacte kopie met vol gewicht meetellen heeft hetzelfde effect als dat gewicht aan de oorspronkelijke lijst toevoegen. Verdeel je het oorspronkelijke gewicht over de kopieën, dan blijven alle scores in de gewogen som gelijk. Vermenigvuldiging van alle gewichten met dezelfde positieve factor behoudt de volgorde. Proef met een dubbele bron
Het voorbeeld combineert invoerdiepte en dubbele lijsten. De volledige lexicale lijst A, C, B, D telt altijd mee met gewicht één. Elke semantische lijst begint met de eerste resultaten uit B, A, D, C en telt ook mee met gewicht één. De rangconstante is 60. Als er een tweede semantische lijst is, is die een exacte kopie van de eerste. Gecombineerde proef
| Behouden posities per semantische lijst | Eén semantische lijst | Twee identieke semantische lijsten |
|---|---|---|
| 1 | B | B |
| 2 | A | B |
Van linksboven naar rechtsonder blijft B bovenaan, ook al zijn de grens en het aantal lijsten veranderd. Door één instelling tegelijk te wijzigen zie je dat de langere lijst A bovenaan zet en het meetellen van de kopie B weer bovenaan zet.
Controleer aan welke ID’s bijdragen worden toegekend
Als je passages zoekt en documenten toont, leg dan vast bij welk document elke passage hoort en in welke stap je groepeert. In een voorbeeld staat bij elke bron een andere passage van A bovenaan. Dezelfde passage van B staat bij beide bronnen tweede. Groeperen per document binnen elke bron vóór de fusie zet A bovenaan. Samenvoegen per passage en daarna per document de hoogst scorende passage behouden zet B bovenaan. Beide resultaten bevatten dezelfde vier documenten. Proef met passagegroepering