lucene分布式搜索sensei的使用及完善
原创文章,转载请注明地址: http://rabbit9898.iteye.com/blog/1130674
Sensei是LinkedIn的一个分布式搜索系统。安装步骤参考:
http://linkedin.jira.com/wiki/display/SENSEI/Getting+Started
或者 http://rabbit9898.iteye.com/blog/997165 。
sensei项目一直在升级中,估计安装起来越来越复杂了
1. Sensei的体系结构:
2. 完善后的体系结构
在sensei中采用了两级结果合并来处理。在一个Node中可以有多个分片索引(Partition/Shard),在查询一个关键词时,一个Node上可以并行查询多个分片(P1,P2)可以对结果进行合并;在搜索服务中可以对多个Node的搜索结果进行二次合并。数据调用流程如上面数字所示。
在结构中添加了cache 和NoSQL 两块。
2.1 cache的添加
cache添加失去了zoie的实时性,主要是因为:
1) 在数据分发服务中,各个节点很难保证建立索引的一致性结果造成了排序不一致
2)因为有删除的数据,结果lucene中计算term的TF和IDF时,删除的数据的分词结果计算在Term的TF和IDF。 当删除该数据时,该数据分词后的term响应的TF不会删除,造成了不同索引中Score不一样(如上面的Node1中的p2 和 Node2中的P2即使索引的数据一样,但是Term的TF不一样,就会造成结果的score有细微差别)。
2.2 NoSQL的添加
lucene中如果数据保存在索引中,翻页比较多的时候会比较慢。 每次从索引中取出数据,效率也不太理想。因此采用NoSQL. 从NoSQL根据ID和查询的关键词,从中取出时间、标题、高亮的内容等其他字段。