对网页数据的大数据分析实操案例
日志中包括很多数据,我们今天只用到IP、帐号、访问的网址作为示例。在真实的项目中(如某宝),通过javascript的事件,可以将你在某个商品链接上停留的时间都采集记录一下来。这些日志通过flume脚本采集到HDFS中长期存储起来。
对于数据的进一步分析,如果大型的互联网厂商,会用mapreduce进行数据的定期分析。今天我们讲到,用hive数据仓库进行进行的快速分析呈现,您也可以。
日志中包括很多数据,我们今天只用到IP、帐号、访问的网址作为示例。在真实的项目中(如某宝),通过javascript的事件,可以将你在某个商品链接上停留的时间都采集记录一下来。这些日志通过flume脚本采集到HDFS中长期存储起来。
对于数据的进一步分析,如果大型的互联网厂商,会用mapreduce进行数据的定期分析。今天我们讲到,用hive数据仓库进行进行的快速分析呈现,您也可以。