spark笔记之通过Spark实现ip地址查询
1． 需求分析
在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。
因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。
2． 技术调研
因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计算spark来实现上述功能。
3． 架构设计
搭建spark集群
4． 开发流程4.1． 数据准备4.2． ip日志信息
在ip日志信息中，我们只需要关心ip这一个维度就可以了，其他的不做介绍
4.3． 城市ip段信息
5． 代码开发5.1． 思路
1、 加载城市ip段信息，获取ip起始数字和结束数字，经度，维度
2、 加载日志数据，获取ip信息，然后转换为数字，和ip段比较
3、 比较的时候采用二分法查找，找到对应的经度和维度
4、 然后对经度和维度做单词计数
5.2． 代码