Storm(一)基本介绍与环境搭建

一 Storm是什么?

Storm(一)基本介绍与环境搭建

二 应用场景

Storm(一)基本介绍与环境搭建

三 实时处理的需求

Storm(一)基本介绍与环境搭建

四 Storm的关键特性

Storm(一)基本介绍与环境搭建
Storm(一)基本介绍与环境搭建

五集群结构

  • topology是一个死循环
  • +通过zookeeper集群解耦

Storm(一)基本介绍与环境搭建

工作原理

Stream流是一个抽象的概念
Storm(一)基本介绍与环境搭建
Storm(一)基本介绍与环境搭建

Spout流出的tuple甚至可以发送到对各Boltz中,可以通过设置Group策略来控制
Storm(一)基本介绍与环境搭建

Spouts分为可靠和不可靠

区别就是是否会重发tuple
Storm(一)基本介绍与环境搭建

Storm(一)基本介绍与环境搭建

六 zookeeper集群搭建

卸载openjdk、安装jdk

参考:Linux下卸载openjdk,安装jdk

集群安装

先在一台机器上部署好zookeeper,参考:Zookeeper集群搭建
然后利用虚拟机clone,实现集群效果

vmware的clone可以参考:Linux(1)简介

七 Storm集群搭建

参考:Storm之——搭建Storm集群

参考资料注意点

  1. 有个地方etc写成了ect
  2. 需要先启动zookeeper集群
  3. storm中配置的是主机名!!!,所以别忘了修改集群成员的主机名

八 API介绍

Component组件

Storm(一)基本介绍与环境搭建

Spout

Storm(一)基本介绍与环境搭建
不能保证close方法一定会执行
Storm(一)基本介绍与环境搭建
原则
Storm(一)基本介绍与环境搭建

Bolt

Storm(一)基本介绍与环境搭建

Bolt中如何反馈

自动反馈
Storm(一)基本介绍与环境搭建

九 HelloWorld

参考:storm入门(三)HelloWorld示例