ElasticSearch的filter原理深度剖析
# 首先在倒排列表中匹配字符串,返回文档列表
# 然后为每一个匹配到的文档列表构建一个bitset。[0,1,0,0,1]等
用来标志一个文档是否对一个filter条件匹配,如果匹配就是1,否则就是0
# 接着遍历每一个过滤条件对应的bitset,优先从最稀疏的索引开始搜索,查找满足所有条件的document
所谓稀疏索引:就是0比较多1比较少的情况的索引。
一次性其实可以在一个search请求中,发出多个filter条件,每个filter条件都会对应一个bitset遍历每个filter条件对应的bitset,先从最稀疏的开始遍历。比如:
我查找Color=Red ANDOnSale=true的文档:
假设两者稀疏索引如下:
onSale: 0 0 1 0 0 0 0
red: 0 1 10 0 0 0
遍历完两个bitset之后,找到的匹配所有条件的文档
# Caching bitset ,跟踪query,在最近256个query中超过一定次数的过滤条件,缓存其bitset。对于小的segment,不缓存bitset
我们可以将一些频繁请求的filter在内存中缓存起来,这样下次如果有这个条件到达的时候,就不用重新扫描倒排索引,反复声称bitset,大幅度提升性能
针对比较小的segment我们可以不缓存,意义不大,第一是segment很小,计算扫描也很快;另外segment在后台会自动合并,小的segment就会很快跟其他小segment合并成大的segment,所以缓存的也没啥意义
# Filter在query执行之前,先尽可能过滤掉更多的数据
Query:是会计算文档对搜索条件的相关度分值,还会根据这个打分进行排序
Filter: 只是简单的过滤数据,不计算相关度分值,也不排序
# 如果document有新增或修改,那么cached bitset 会被自动更新
# 以后只要有相同条件filter条件的,会直接使用这个过滤条件对应的cachedlist