ElasticSearch多shard场景相关度打分不准确问题

如果一个Index有多个shard的话，那么搜索的结果可能不太准确。

比如我们在某一个shard中，有很多个document,假设有20个文档的record.desc中包含Premium，当搜索Premium的请求到达这个shard的时候，会利用TF/IDF计算相关度算法：

TF: Term Frequency的缩写，表示该term在当前document出现的频率

IDF: Inverse Document Frequency缩写，表示该term在所有文档中出现的频率

 

所以根据这个公式我们可以得出一个结论：

如果该term在当前文档出现次数越高，那么分值越大；如果该term在所有文档出现的频率越小，那么分值越大

 

但是在ElasticSearch中，他计算IDF只是在local shard上计算，不会计算其他的shard上的词频，所以这样就会导致每一个shard上计算掉结果不一样。

 

该如何解决呢？

# 生产环境下，数据量大，尽可能实现均匀分配

# 测试环境下，将索引的primary shard设置为1个，number_of_shards=1，index settings

# 测试环境下，搜索附带search_type=dfs_query_then_fetch参数，会将local IDF取出来计算global IDF。

计算一个doc的相关度分数的时候，就会将所有shard对的local IDF计算一下，获取出来，在本地进行global IDF分数的计算，会将所有shard的doc作为上下文来进行计算，也能确保准确性

但是生产不建议打开，因为性能很差。