Lambda 架构详解-2

1.架构简介

    Lambda架构是大数据架构的一种，其作用无非是存储-处理-展示数据。关于其介绍，网上多篇博客已珠玉在前，这里不再赘述。可参见：

 

2.架构之组成

2.1 batch layer

    如图可知，优选是Hive和Pig，次选是Spark、Hadoop；

 

2.2 speed layer

    如图可知，优选是Spark Streaming和Strom，次选是Spring XD；

 

2.3 serving layer

    如图可知，优选是HBase和Druid，次选是SploutSQL；

 

    由上可知，Lambda架构的组成可以有千百种方式，但其每一个layer的选择却是有限的；只需结合业务需求、然后在上述三幅图中选择即可。

 

3.Lambda架构的Demo

    （官网给定的5个demo，但目前一个都没看懂-2019年1月17日）    

3.1 Demo1. 推特标签数量实时分析

batch layer = HDFS;

speed layer = Trident(a high level Storm);

serving layer = Splout SQL;

 

3.2 Demo2. 实时分析数据堆栈

data resource = Kafka;

batch layer = Hadoop;

speed layer = Storm;

serving layer = Druid;

 

3.3 Demo3. 洛杉矶公共交通数据实时分析

data resource = Kafka;

batch layer = Spark;

speed layer = Cassandra;

serving layer = Akka;

 

3.4 Demo4. 基于微软云分析公共会议流程

github项目地址：https://github.com/ANierbeck/BusFloatingData

data resource = ;

batch layer = ;

speed layer = ;

serving layer = ;

 

3.5 Demo5. 推特实时详尽分析

data resource = Kafka/Twitter4j;

batch layer = Spark;

speed layer = Spark-streaming/Cassandra;

serving layer = Akka/Akka-http;

 

4.我的Demo

batch layer = Hive;

speed layer = Storm;

serving layer = HBase;搭建起一个local mode（本地集群）的demo

…

 

Storm集成HBase：

http://storm.apache.org/releases/2.0.0-SNAPSHOT/storm-hbase.html