elastic search 基本概念

一、需求场景-产生背景

1、海量数据组合条件查询（

hbase 只能基于rowkey快速查询，条件单一）

lucene:是一个全文检索引擎工具包（架构），提供了完整的查询引擎和索引引擎，部分文本分析引擎

基于索引库，对入库数据建立索引（索引引擎），通过搜索引擎提供快速的搜索服务。

2、毫秒级或者秒级的响应速度

二、es定义

1、全文搜索引擎

2、基于lucene

3、分布式多用户

4、提供 restful web api

5、实时搜索

6、稳定、可靠、快速、安装使用方便

三、特点

分布式+实时

四、es与lucene

1、半成品与成品的区别：lucene需要二次开发，es直接提供了restful api

2、lucene专注于搜索底层的建设，而es专注于企业应用

五、es与solr

1、两者的功能定位是基本一致的，都是基于lucene二次开发提供搜索服务，solr提供类似Web-service的api，api采用的数据交换格式是xml格式。

2、solr较早出现，成熟、稳定，对历史数据搜索速度非常快，毫秒级；但建立索引时，io阻塞明显，此时会影响搜索效率，因此实时搜索效率低。借助于zookeeper进行分布式

3、es不太成熟、开发维护者较少，自带分布式、血统高贵，支持实时搜索，多租户（对同一数据建立多种索引），gateway使得数据持久化更简单，分布式节点为对等节点、故障时自动均衡

3、随着数据量的增加solr的响应时间明显增大（1s-10s），但是es没有明显变化（大型互联网公司，从solr转到es，速度提高50倍）

4、目前es搜索热度已经超过solr(百度搜索指数)

5、总结：solr是传统搜索应用的解决方案，es

六、es的索引库与传统关系型数据库

1、索引库与关系库的区别

2、es的索引库本质是nosql数据库，数据的层级关系Index{Type{Document{Field}}}；

关系型数据库的层级关系DataBase{Table{Rowl{column}}}

七、es的架构图

八、在hadoop生态圈中的位置

1、可以在数据入库（传统数据库或hdfs）的同时进行异步的创建es的索引

2、可以将查询结果写入传统库或hdfs进行统计分析

3、可以直接通过Rest API展现查询结果

九、应用场景

1、取代solr，支持海量数据实时搜索

2、取代mongo，作为nosql数据库，其读写性能优于mongo，支持地理位置查询

3、统计、日志类的时间序的数据存储和分析、可视化，这方面是引领者

4、国内外企业应用现状：*、stack overflow、github、百度、新浪、阿里、腾讯等