Storm-入门

Storm是什么

  1.  

Strom技术网站

  1. 官网;srorm.apache.org
  2. githup: guithup.com/apache/storm

Strom对比Hadoop

  1. 数据源/处理领域:Hadoop数据存储在HDFS
  2. 处理过程不同:
    1. hadoop:map+reduce
    2. Storm:spout+bolt
  3. 进程是否结束
    1. Hadoop:启动的时候申请资源,作业全部跑完之后资源才可以释放
    2. Strom:没有结束状态
  4. 处理速度
    1. Hadoop:
    2. Storm:HDFS上的TB级数据
  5. 使用场景
    1. Storm:
      1. realtimr analytics
      2. online machine learning
      3. 不间断计算
      4. 分布式RPC
      5. ETL and more
    2. Hadoop:

Strom对比SparkStreaming

Storm-入门
标题

 

Sparkstreaming是建立在spark的基础上,集合多种场景计算。一站式解决各种场景问题。storm在各种场景之间进行切换的时候需要

 

Storm的实时性高,结果直接落地。不需要进行下一步计算

Storm优势

  1. 编程模型 spout+bolt
  2. 扩展性:分布式
  3. 可靠性:可以保证spout发出的数据仅仅可以处理一次。工作进程的可靠性。
  4. 容错性:
  5. 多语言:

Storm应用现状以及发展趋势

  1. 应用现状
    1. 雅虎,推特。。。。
  2. 发展趋势
    1. 免费开源分布式处理框架,依赖于社区的发展
    2. 企业的需求
    3. 大数据相关的大会,Storm主题的数量不断上升
    4. 互联网数据量增长庞大,阿里Jstorm

Storm应用案例

  1. Storm在电商行业的应用
    1. 一淘实时分析系统
    2. 携程网站性能监控
    3. 阿里妈妈用户画像:用户兴趣基于用户的额历史行为,用户的实时查询,用户的实时点击,用户的地理信息。其中实时查询,实时点击等用户行为都是实时数据。
  2. Storm在电信行业的应用
    1. 论文:
      1. 基于Storm的诈骗电话分析系统的设计与实现