ElasticSearch第四篇:ES核心概念与倒排索引
一、ES核心概念
注意:ES是面向文档的!!!!!!!!
对比一下关系型数据库:
Relational DB | Elasticsearch |
数据库(database) | 索引(index) |
表(tables) | 类型(types) |
行(rows) | 文档( documents) |
列(columns) | 字段(fields) |
1.集群
一个集群就是由一个或多个节点组织在一起,他们,它们共同持有你整个的数据,并一起提供索引和搜索功能。一个集群有一个唯一的名字标识,这个名字默认是“elasticsearch”。
这个名字是重要的,因为一个节点只能通过指定某个集群的名字,来加入这个集群。
集群中包含多个索引(数据库),每个索引中包含多个类型(表),每个类型下又包含多个文档(行),每个文档又包含多个字段(列)。
2.索引
一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引有一个名字来标识(必须全部是小写字母的),并且当我们要对一个对应于这个索引的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。
在一个集群中,如果你想,可有定义任一多的索引。
3.类型
在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,齐语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储道一个索引中。在这个索引中,你可以为用户 数据定义一个类型,为博客数据定义一个类型,当然,也可以为评论数据定义另一个类型。
4.文档
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON(JavaScript Object Notation)格式来表示,而JSON是一个到处存在的互联网数据交互格式。
5.分片
一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB烦人磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份叫做分片。当你创建一个索引的时候,你可以指定你想要的分片数量。每个分片本身也是一个功能完善并且独立的“索引”,这个 “索引”可以被放置到集群中的任何节点上。
分片之所以重要,主要由两方面的原因:
1)允许你水平分割/扩展你的内容容量
2) 允许你在分片(潜在地,位于多个节点上)之上进行分布式的、并行的操作,进而提高性能/吞吐量
在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。
复制之所以重要,有两个原因:
1) 在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主(original/primary)分片置于同一接待上是非常重要的。
2)扩展你的搜索量/吞吐量,因为搜素可以在所有的复制上并行运行。
二、倒排索引
什么是倒排索引: 倒排索引也叫反向索引,通俗来讲正向索引是通过key找value,反向索引则是通过value找key。
举个例子:
假设有以下文档:
文档id | 文档内容 |
1 | 幸某人是世界上最帅的男人 |
2 | elasticsearch是世界最流行的搜索引擎 |
3 | 搜索引擎是如何诞生的 |
正排索引就是通过文档id索引到文档内容
下面讲倒排索引:
为了创建倒排索引,我们要将每个文档拆分成独立的单词,然后创建一个包含所有不重复的单词的排序列表,然后列出每个单词出现在哪个文档。
倒排索引就是通过拆分后的关键词索引到文档id。
term(关键词) | Posting List(文档id列表) |
幸某人 | 1 |
世界 | [1,2] |
最帅 | 1 |
男人 | 1 |
elasticsearch | 2 |
流行 | 2 |
搜索引擎 | [2,3] |
如何 | 3 |
诞生 | 3 |
倒排索引流程(查询包含搜索引擎的文档):
1.通过倒排索引获得“搜索引擎”对应的文档id有2和3
2.通过正排索引查询2和3的完整内容
3.返回用户最终结果
注意:当搜索世界最帅的时候,会有两个id就是1和2。但是由于id1出现了2个关键词,而id2只出现了一个关键词。那么es会自动对两个文档做一个权重处理,即文档1的权重高于文档二。
倒排索引-倒排列表:
•倒排列表(Posting List)记录了单词对应的文档集合,由倒排索引项(Posting)组成
·倒排索引项(Posting)主要包含如下信息:
1.文档Id,用于获取原始信息
2.单词频率(TF,Term Frequency),记录该单词在该文档中的出现次数,用于后续相关性算分
3.位置(Position),记录单词在文档中的分词位置(多个),用于做词语搜索(Phrase Query )
4.偏移(Offset),记录单词在文档的开始和结束位置,用于做高亮显示
以搜索引擎为例,倒排列表如下:
DocId | TF | Position | Offset |
2 | 1 | 2 | <20,24> |
3 | 1 | 0 | <0,4> |