Naar de hoofdinhoud

Menu

Onderzoek

Zo reproduceer je een resultaat van reciprocal rank fusion

Taal: Nederlands

Begin bij de geordende lijst die elke bron werkelijk doorgaf aan reciprocal rank fusion (RRF). Bewaar die lijsten, de rangconstante, de brongewichten en de ID’s die voor groepering zijn gebruikt. De kandidaat-ID’s of zelfs het bovenste resultaat kunnen gelijk blijven terwijl de gegevens achter de scores veranderen. RRF-formule

Vergelijk wat elke lijst bijdraagt

Noteer hoeveel resultaten van elke bron meewegen en hoeveel er uiteindelijk worden teruggegeven. Die grenzen gelden in verschillende stappen. In een fictief voorbeeld geeft het verhogen van één invoerlijst van één naar twee resultaten A een bijdrage van een tweede bron. A haalt daardoor B in. Alle kandidaten blijven in de samengevoegde verzameling. Beperk je de uitvoer pas na de volledige fusie tot één resultaat, dan blijft A bovenaan. Proef met invoerdiepte

Vergelijk voor elke kandidaat rond de grens welke positie is meegenomen en wat elke bron bijdraagt. Een kandidaat kan de bijdrage van één lijst verliezen en dankzij een andere lijst in de verzameling blijven.

Controleer de rangconstante en de effectieve gewichten

Als de invoerrangen overeenkomen, herhaal de berekening met de rangconstante en de brongewichten. In een voorbeeld met drie lijsten staat A twee keer op de eerste plaats. B staat één keer eerste en twee keer twaalfde. Bij positieve constanten onder 10 staat A bovenaan, bij 10 speelt A gelijk met B en boven 10 staat B voor. Bewaar de regel die gelijke scores ordent als die de uitvoer kunnen beïnvloeden. Proef met de rangconstante

Controleer hoe vaak de lijst van elke bron meetelde. Een exacte kopie met vol gewicht meetellen heeft hetzelfde effect als dat gewicht aan de oorspronkelijke lijst toevoegen. Verdeel je het oorspronkelijke gewicht over de kopieën, dan blijven alle scores in de gewogen som gelijk. Vermenigvuldiging van alle gewichten met dezelfde positieve factor behoudt de volgorde. Proef met een dubbele bron

Het voorbeeld combineert invoerdiepte en dubbele lijsten. De volledige lexicale lijst A, C, B, D telt altijd mee met gewicht één. Elke semantische lijst begint met de eerste resultaten uit B, A, D, C en telt ook mee met gewicht één. De rangconstante is 60. Als er een tweede semantische lijst is, is die een exacte kopie van de eerste. Gecombineerde proef

Behouden posities per semantische lijstEén semantische lijstTwee identieke semantische lijsten
1BB
2AB

Van linksboven naar rechtsonder blijft B bovenaan, ook al zijn de grens en het aantal lijsten veranderd. Door één instelling tegelijk te wijzigen zie je dat de langere lijst A bovenaan zet en het meetellen van de kopie B weer bovenaan zet.

Controleer aan welke ID’s bijdragen worden toegekend

Als je passages zoekt en documenten toont, leg dan vast bij welk document elke passage hoort en in welke stap je groepeert. In een voorbeeld staat bij elke bron een andere passage van A bovenaan. Dezelfde passage van B staat bij beide bronnen tweede. Groeperen per document binnen elke bron vóór de fusie zet A bovenaan. Samenvoegen per passage en daarna per document de hoogst scorende passage behouden zet B bovenaan. Beide resultaten bevatten dezelfde vier documenten. Proef met passagegroepering