Elasticsearch 三种分页方式的总结

ES分页查询常用的有以下三种

1.from + size

from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10，最灵活的分页方式

注意：from+size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。

如果搜索from+size大于10000，需要设置index.max_result_window参数（最大为10亿）

数据量越大，越往后翻页，性能越低。搜索引擎深度分页问题，任何查询都不要返回特别大的结果，如google，百度的搜索分页不会超过100页。

 

2.scroll

不适合用来做实时搜索，而更适用于后台批处理任务，如日志导出。

暂存搜索结果，每次传入scroll_id。scroll_id会占用大量资源，用于非实时处理大量数据的情况。

 

可以通过scroll 初始化查询后，指定scroll_id 结合from+size的方式来实现分页。

 

3. search_after

根据上一页的最后一条数据来确定下一页的位置。需要使用一个唯一值的字段作为排序字段。不能*跳到一个随机页面。要想实现翻页，需要每次记录最后查询的sort。

 

可以通过from+size 加上sort字段获取sort值，再结合search_after实现达到max_result_window后的继续分页。

 

例如:

 

查询结果中获取到sort

 

下一次搜索：

          

 

 

在Kibana上的数据搜索分页策略如下：

Discover界面

最多显示500条数据。需要设置搜索条件看到更多的数据。

 

Observability Log Steam:

通过startTimestamp 和  endTimestamp 控制显示数据。通过新的query请求拿到新的数据。