Ejemplos para reproducir una clasificación BM25

Estas pruebas usan documentos y consultas ficticios. Muestran cómo cambian las puntuaciones de los mismos candidatos al cambiar la colección usada para calcularlas. También muestran cómo la selección inicial puede dejar fuera a un candidato antes de la segunda clasificación. Los cálculos usan la versión fijada de rank-bm25.

Descargar los cinco scripts y los resultados guardados (ZIP). El archivo README explica cómo instalar las versiones fijadas de las dependencias de Python y comparar los resultados.

¿Cómo cambió la longitud media de los documentos?

Añadir un documento que no contiene ningún término de la consulta puede cambiar la longitud media usada para puntuar. En este ejemplo, A va por delante por debajo de una media de 18 tokens, empata con B en 18 y queda por detrás por encima de 18. En la prueba de control, con el ajuste por longitud desactivado, B va por delante en todos los casos.

¿Qué documentos cambiaron el peso de los términos?

En una colección de nueve documentos ficticios, A coincide con red y B con blue. Dos cambios en otros documentos hacen que los que contienen red pasen de dos a cuatro. Los que contienen blue siguen siendo tres. A va por delante al principio, empata con B tras el primer cambio y queda por detrás tras el segundo. Los candidatos y la media de cuatro tokens no cambian.

¿Qué documentos cuentan en cada partición?

En este ejemplo con 18 documentos, dos intercambios de otros documentos entre particiones invierten el orden de A y B cuando cada partición usa sus propias estadísticas para puntuar. Un único cálculo sobre la colección completa, que sigue igual, da a B la puntuación más alta en todos los repartos probados. La API de búsqueda de Elasticsearch describe distintos ámbitos para las estadísticas de los términos. Las puntuaciones de aquí proceden del ejemplo en Python.

¿Qué documentos llegan a la segunda clasificación?

En otro ejemplo con 18 documentos, puntuar todos los candidatos elegibles da el orden B, C, A. La segunda clasificación usa esas mismas puntuaciones de la colección completa. Cambiar la selección inicial determina qué candidatos llegan a esa etapa.

Selección inicial y orden tras la segunda clasificación
Primera selecciónOrden final originalOrden final tras dos intercambios de otros documentos
BM25 local, uno por particiónC, AB, C
BM25 local, hasta dos por particiónB, C, AB, C, A
BM25 con toda la colección, uno por particiónB, CB, C