Investigación
Cómo reproducir una clasificación BM25 después de cambiar el índice
Guarda los documentos que se usan para calcular las estadísticas de BM25, los identificadores que pueden aparecer en los resultados y los que pasan de una etapa de clasificación a otra. Eso te permite localizar cambios en el peso de los términos, las puntuaciones por partición o la selección de candidatos. Los ejemplos usan documentos ficticios ya divididos en tokens y rank-bm25 0.2.2. Implementación de la puntuación
¿Qué documentos se usaron para calcular la puntuación?
Repite la misma consulta con los mismos identificadores elegibles para cada colección usada en el cálculo. Guarda la versión del índice o del corpus, el análisis de la consulta y los ajustes de puntuación. Compara el tamaño de la colección, la longitud media de los documentos y cuántos documentos contienen cada término de la consulta dentro del conjunto que aporta esas estadísticas.
Añadir un documento que no coincide con ningún término de la consulta puede cambiar el ajuste por longitud. En un ejemplo, añadir un documento sin coincidencias deja la media justo por debajo de 18 tokens, en 18 o justo por encima de 18. A va por delante por debajo de 18, empata con B en 18 y pierde por encima de 18. Con el ajuste por longitud desactivado, B va por delante en todos los casos. Prueba de longitud media
Las ediciones también pueden cambiar el peso de los términos sin alterar la longitud media. En un ejemplo con nueve documentos, dos cambios en otros documentos aumentan de dos a cuatro el número de documentos que contienen red. El número de documentos con blue se mantiene en tres. A coincide con red y B con blue. A empieza por delante, empata con B tras el primer cambio y queda por detrás tras el segundo. Los dos candidatos y la media de cuatro tokens siguen iguales. Prueba de frecuencia de términos
¿Qué documentos cuentan en cada partición?
Si la puntuación es local, guarda en qué partición está cada candidato y los demás documentos. Reconstruir el mismo corpus con una distribución distinta puede cambiar la comparación de puntuaciones entre particiones. En un ejemplo con 18 documentos, dos intercambios de otros documentos hacen que B supere a A en la comparación local. Con un solo cálculo sobre toda la colección original, B obtiene la puntuación más alta en todas las distribuciones probadas. Prueba de distribución en particiones
Cuando reproduzcas una búsqueda distribuida, comprueba el método de puntuación configurado. Por ejemplo, Elasticsearch documenta métodos que usan frecuencias de la partición actual o de todas las particiones. Las puntuaciones anteriores proceden del ejemplo en Python. API de búsqueda de Elasticsearch
¿Qué candidatos llegan a la segunda clasificación?
Compara los identificadores antes y después del límite de la primera selección. Anota el método de puntuación de cada etapa, cuántos resultados se toman por partición y la regla de desempate si las puntuaciones iguales pueden cambiar la selección. Para una consulta de prueba manejable, ordena todos los candidatos elegibles según la regla de la segunda clasificación. Úsalo como referencia para ver cuáles podrían quedar primeros.
En otro ejemplo con 18 documentos, la puntuación sobre toda la colección ordena los candidatos elegibles como B, C, A. La tabla muestra cómo la selección inicial afecta al orden final cuando la segunda etapa siempre usa las puntuaciones de la colección completa. Prueba de la selección inicial
| Primera selección | Orden final original | Orden final tras dos intercambios de otros documentos |
|---|---|---|
| BM25 local, uno por partición | C, A | B, C |
| BM25 local, hasta dos por partición | B, C, A | B, C, A |
| BM25 con toda la colección, uno por partición | B, C | B, C |
En la primera fila, B queda fuera antes de la segunda clasificación en la distribución original. La comparación distingue un cambio en los candidatos que se puntúan de un cambio en cómo se puntúan los finalistas. Si falta un candidato a la entrada de la segunda etapa, repite la selección inicial. Si los candidatos coinciden pero cambia el orden, compara las puntuaciones de la segunda etapa y la regla de desempate.