大数据技术选型之阿里云框架与开源框架对比

阿里云产品                                    简 介                                                        类 比

DataHub                                    数据总线                                         Kafka +各种服务接口
MaxCompute                      大数据计算框架                                     Hadoop+Hive+调度器
DataWorks              可视化MaxCompute的 开发管理平台                        目前没有
RDS                                 关系型数据库                                                      MySql
QuickBI                          可视化数据展示工具                              Tableau、Echarts、Kibana
ECS                                    弹性服务器                                                  Linux服务器

 

                                    阿里云框架                                        开源框架

数据采集传输:  Flume、DataHub、RDS              Flume、Kafka、Sqoop、DataX

数据存储       :  MaxCompute、DataWorks          Mysql、Hadoop、HBase

数据计算       :    MaxCompute、DataWorks           Hive、Spark、Flink

数据可视化   :    QuickBI                                         Tableau、Echarts、Kibana

 

系统数据流程设计

大数据技术选型之阿里云框架与开源框架对比

DataHub
日志生产服务器ECS (用户行为日志)
QuickBI
业务系统
RDS
RDS
分析结果