学习python-day02-16---转自Python分布式爬虫打造搜索引擎Scrapy精讲

第三百六十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本概念

elasticsearch的基本概念

1、集群:一个或者多个节点组织在一起

2、节点:一个节点是集群中的一个服务器,由一个名字来标识,默认是一个随机的漫微角色的名字

3、分片:将索引(相当于数据库)划分为多份的能力,允许水平分割和扩展,对个分片响应请求,提供性能和吞吐量

3、副本:创建分片的一份或者多份的能力(相当于备份),在一个节点失败其余节点可以顶上

elasticsearch的数据存储概念

1、index(索引,可以理解为数据库)

2、type(类型,可以理解为数据库表)

3、documents(文档,可以理解为数据库表的行)

4、fields(可以理解为数据库表的列)

学习python-day02-16---转自Python分布式爬虫打造搜索引擎Scrapy精讲

http方法

GET 请求指定的页面信息,并且返回实体主体

POST 向指定资源提交数据进行处理请求,数据被包含在请求体中,POST请求可能会导致新的资源的建立和/或已有资源的修改

PUT 向服务器传送的数据取代指定的文档的内容

DELETE 请求服务器删除指定的页面

学习python-day02-16---转自Python分布式爬虫打造搜索引擎Scrapy精讲