【大数据毕设技术学习一】-Flume知识总结
前提说明:
一、必须能够安装基本的大数据环境,另外一个方面,不管是分布式环境,还是单机伪分布式环境,都需要对基本的技术知识点进行掌握。至少能够对我们所操作的每个步骤有所了解。
二、第二个方面,我觉得最关键的就是阅读每个软件的官方文档,这是必须的,有两个好处,第一个方面就是就是可以完整、系统地掌握全面的知识。第二好处就是在读英文文档的时候能够极大地锻炼我们的英文能力,当然如果英文不太好的话可以下载一些浏览器的插件,就拿现在非常熟知的firefox/chorme来讲,里面有非常多的插件,随便搜一下英文插件,挑一个用户使用多的就可以了。
三、这第三个方面说一下这是笔者对自己在毕设实验完成过程中的一种总结吧。一方面这是笔者写给自己看的,因为笔者好几年的学习来看,最佳的学习方式还是自己把一些方法记录下来,然后有问题的时候自己可以进行查看。可以节约好多搜索的时间。另外一个方面如果能帮助网友的话,也算是一种缘分吧。
1.Flume预备知识
- 需要按照笔者第一部分的知识独立搭建好基于flume1.7版本的环境,单机就可以,学习基础的知识足够了。
- 能够对大数据知识有基本的认识、以及能够进行简单的linux操作。
- 能够懂得FLume主要是用来干嘛的、还有flume基本的结构和原理即可。
2.Flume实验之-example.conf
核心配置文件,代码来自官网点击这里