数据处理流程
流程图解析
典型的BI系统体流程如下：
由于是处理海量数据，流程中各环节所使用的技术则跟传统BI完全不同，后续课程都会一一讲解：
1) 数据采集：定制开发采集程序，或使用开源框架FLUME
2) 数据预处理：定制开发mapreduce程序运行于Hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品
6) 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品
项目技术架构图