[大数据]Hadoop大数据开发基础----环境配置(一)

大数据的概念就不在此赘述了,自己看书了解一下~下面说一下Hadoop集群的搭建及配置

1.Hadoop相关软件及版本

软件 版本 备注
Linux Os CentOS6.8 64位
JDK 1.7+ 64位
VMware 14pro(10以上的版本都可以啦)
Hadoop 2.6.5 已编译好的安装包
Eclipse 4.5.1 64位
Eclipse Hadoop插件 2.6.0
SSH连接工具(本文用Xshell6) 6

[大数据]Hadoop大数据开发基础----环境配置(一)

2.安装配置虚拟机
在此讲解在个人电脑上安装Linux虚拟机,以远程访问的方式对其进行管理,并在线安装常用的软件包。尝试在Linux系统下进行基本文件操作。

2.1创建Linux虚拟机
虚拟机的安装就不在此多说,直接进入创建虚拟机环节。
打开安装好的VMware虚拟机,选择“创建新的虚拟机”选项,如图所示,接下来按照图片所选方式选择
[大数据]Hadoop大数据开发基础----环境配置(一)

[大数据]Hadoop大数据开发基础----环境配置(一)

[大数据]Hadoop大数据开发基础----环境配置(一)

[大数据]Hadoop大数据开发基础----环境配置(一)

这个地方,虚拟机名称要设置为master,主节点名称,位置最好新建一个文件夹放虚拟机,因为接下来还有好几个虚拟机要创建,最好放在一个文件夹。
[大数据]Hadoop大数据开发基础----环境配置(一)

[大数据]Hadoop大数据开发基础----环境配置(一)

点击完成,创建完成。
[大数据]Hadoop大数据开发基础----环境配置(一)
点击编辑虚拟机设置
[大数据]Hadoop大数据开发基础----环境配置(一)
选择新CD/DVD所在行,在右边的“连接”组中选择“使用ISO映像文件”点击浏览
[大数据]Hadoop大数据开发基础----环境配置(一)

然后选择你下载好的LINUX(CentOS)的位置,点击打开。

[大数据]Hadoop大数据开发基础----环境配置(一)

点击确定。
[大数据]Hadoop大数据开发基础----环境配置(一)

点击开启此虚拟机
[大数据]Hadoop大数据开发基础----环境配置(一)

选择第一个选项,安装或升级现有的系统
[大数据]Hadoop大数据开发基础----环境配置(一)

选择Skip
[大数据]Hadoop大数据开发基础----环境配置(一)
点击Next
[大数据]Hadoop大数据开发基础----环境配置(一)
选择English Next
[大数据]Hadoop大数据开发基础----环境配置(一)
U.SEnglish Next
[大数据]Hadoop大数据开发基础----环境配置(一)
选择安装的存储设备
选择Basic …….. Next

[大数据]Hadoop大数据开发基础----环境配置(一)
提示用户是否删除数据
选择Yse
[大数据]Hadoop大数据开发基础----环境配置(一)
设置主机名
主机名设置为“master.centos.com”
[大数据]Hadoop大数据开发基础----环境配置(一)
选择时区
我们这里选择“Asia/Shanghai”
[大数据]Hadoop大数据开发基础----环境配置(一)
设置管理员密码,本教程所有节点的管理员密码都设置为“123456”,如果密码设置的过于简单,系统会弹出一个对话框
[大数据]Hadoop大数据开发基础----环境配置(一)
选择Anyway
[大数据]Hadoop大数据开发基础----环境配置(一)

接下来是分区与安装的界面,选择“Use All Space”,单击Next。
然后提示是否确认格式化与写入数据,选择Write changes to disk
[大数据]Hadoop大数据开发基础----环境配置(一)

选择安装CentOS组建,这里选择“Minimal”,单击Next
[大数据]Hadoop大数据开发基础----环境配置(一)
[大数据]Hadoop大数据开发基础----环境配置(一)
安装完成,单击“Reboot”按钮

[大数据]Hadoop大数据开发基础----环境配置(一)

输入用户名“root”以及密码“123456”回车登陆

[大数据]Hadoop大数据开发基础----环境配置(一)

至此完成Linux主节点的安装