Hadoop离线_zookeeper

1 zk的基本概述以及架构模型

基本概述:

ZooKeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题。例如怎样避免同时操作同一数据造成脏读的问题。
ZooKeeper本质上是一个分布式的小文件存储系统(ZooKeeper上面的每个文件内容最好不要超过1M),提供基于类似文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理,从而用来维护和监控你存储的数据的状态变化,通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。比如:统一命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列(sub/pub)、分布式锁、分布式协调等功能。

架构模型:

Leader:ZooKeeper集群工作的核心。事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性,集群内部各个服务器的调度者。(对于create,setData,delete等有写操作的请求,则需要统一转发给leader处理,leader需要决定编号、执行操作,这个过程称为一个事务)
Follower:处理客户端非事务(读操作)请求,转发事务请求给Leader,参与集群Leader选举投票,2n-1台可以做集群投票。此外,针对访问量较大的ZooKeeper集群,还可新增观察者角色。
Observer:观察者角色。观察ZooKeeper集群的最新状态变化并将这些状态同步过来,其对于非事务请求可以进行独立处理,对于事务请求则会转发给Leader服务器进行处理。不参与Leader选举投票。

Hadoop离线_zookeeper

2 zk的基本特性

  • 全局数据一致
    最重要的特性。每个server保存一份相同的数据副本,client无论连接到哪个server,展示的数据都是一致的。
  • 可靠性
    如果消息被其中一台服务器接收,那么将被所有服务器接收。
  • 顺序性
    包括全局有序和偏序两种:全局有序是指如果在一台服务器上,消息a在消息b前发布,则在所有server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,消息a必将排在消息b前面。
  • 数据更新原子性
    一次数据更新要么成功(半数以上节点成功,要么失败,不存在中间状态。
  • 实时性
    ZooKeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。