windows下编译hadoop源码
一、工具
1. jdk1.8
2. hadoop-2.8.3-src(hadoop源代码文件)
3. apache-maven-3.5.4
4. protobuf-2.5.0
5. protobuf-2.5.0.tar
二、 环境配置
2.1 配置maven
(1)解压到E盘
(2)进入环境变量
(3)配置环境变量
配置M2_HOME
变量名:
- M2_HOME
复制代码
变量值
- E:\apache-maven-3.2.1
复制代码
配置path
在path中加入下面变量
- E:\apache-maven-3.2.1\bin;
复制代码
(4)验证
- mvn -v
复制代码
输出下面信息
- Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15
- 2+08:00)
- Maven home: E:\apache-maven-3.2.1
- Java version: 1.7.0_13, vendor: Oracle Corporation
- Java home: C:\Program Files\Java\jdk1.7.0_13\jre
- Default locale: zh_CN, platform encoding: GBK
- OS name: "windows 7", version: "6.1", arch: "amd64", family: "windows"
复制代码
2.2 安装protoc
1.将下载的protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包。分别解压到各自目录。
2.将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。
3.将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.
4.进入XXX\protobuf-2.4.1\java 目录 执行maven package命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target目录中)。
注释:我们通过这里执行maven package的时候,会遇到需要pom.xml文件。通过这里下载
pom.zip (1.49 KB, 下载次数: 993) ,解压到相应的路径即可。
解压之后,继续执行
- maven package
复制代码
执行完毕,ok。这时候我们
验证:
- protoc --version
- libprotoc 2.5.0
复制代码
3.编译hadoop源码
a) 进入windows命令行模式,进入到D:\soft\hadoop-2.6.4-src\hadoop-maven-plugins目录,执行"mvn install"命令,如果命令行界面提示:build success"时表示成功:
b) 进入到hadoop-2.5.2-src 目录,执行"mvn eclipse:eclipse -DskipTests"命令,如果出现"BUILD SUCCESS"说明hadoop源码编译成功。
4. 将hadoop-2.5.2-src导入eclipse即可。
5. 更改maven源仓库地址位置,提升maven编译速度。
1.进入apache-maven-3.5.4文件下的conf文件,修改其setting.xml文件。
2.在setting.xml文件中找到mirror标签,加入如下代码: