Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

创建一个Scala IDEA工程:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

点击“Next”:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

点击“Finish”完成工程的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

修改项目的属性:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

 

首先修改Modules选项:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

 

在src下创建两个文件夹,并把其属性改为source:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

再修改Libraries:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

因为要开发Spark程序,所以需要把Spark的开发需要的jar包导进来:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

 

导入包完成后,在工程的scala下面创建一个package:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

 

创建一个Object对象:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

完成初始类的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

 

首先构建Spark Driver的模板代码:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

该程序是对前面的搜狗日志的处理代码,只不过这个时候在IDEA中编写而已。