分布式系统经典问题深度分页

分布式文件系统必定面对的问题:深度分页

问题:如何在数据分片存储的情况下, 获取前1000个文档?

答案:先从每个分片上获取前1000个文档, 然后由处理节点聚合所有分片的结果之后,再排序获取前1000个文档。

此时页数越深,处理的文档就越多,占用的内存就越大,耗时就越长。这就是深度分页问题。

为了尽量避免深度分页为题,ES通过设定index.max_result_window限定最多到10000条数据。

 

在设计分页系统时,有一个分页数十分重要:

total_page=(total + page_size -1) / page_size

总分页数= (文档总数+认为设定的文档大小-1)   / 人为设定的文档大小

但是在搜索引擎中的意义并不大,因为如果排在前面的结果都不能让用户满意,那么越往后,越不能让用户满意。

 分布式系统经典问题深度分页