阿里云ECS服务器配置Hadoop伪分布环境

1.首先就是选购阿里云服务器，我选择的是Ubuntu 18.04系统（再设置一堆用户名之类的东西）

2.启动远程连接

sudo ufw disable 关闭防火墙

useradd -m hadoop 创建Hadoop用户用于操作

 passwd hadoop 为创建的Hadoop用户指定密码

修改Hadoop的权限：将Hadoop加进sudoers列表

%hadoop ALL=(ALL:ALL) ALL

sudo vi /etc/passwd 修改Hadoop的显示情况（原来仅显示$ 没有bash）最后将/sh变为/bash

su hadoop切换到hadoop

sudo vi /etc/hosts 建立主机名和ip地址的对应(在之后缀加) （填写阿里云私有ip地址）

这样就使用主机名可以ping其他机器了

 配置SSH

su hadoop//切换回Hadoop 用户

mkdir .ssh// hadoop目录下新建.ssh 文件夹

 ssh-****** -t rsa //创建公钥 连按三次确认即可

 cd .ssh 进入.ssh文件夹

cat id_rsa.pub>>authorized_keys //将id_rsa.pub并入 authorized_keys之后

查看  authorized_keys 已经出现了hadoop006的公钥

接下来 ssh localhost已经成功，输入一次yes即可

给.ssh 设置权限

 

上传jdk、hadoop文件到阿里云，注意使用端口号22和 公网ip,最后跟服务器的路径 ，该路径必须存在！

 中途需要你输入Hadoop 的登录密码

发送成功！

 现在需要解压两个文件 

tar -zxvf hadoop-2.6.0-x64.tar.gz  tar -zxvf jdk-8u11-linux-x64.tar.gz

解压完成 出现两个文件夹

创建软链接 hadoop和jdk指向这两个文件夹

ln -s hadoop-2.6.0 hadoop

ln -s jdk1.8.0_11 jdk

 记住Java的路径 去配置环境变量bashrc

最后添加以下内容 第一行的jdk1.8.0_1最好改为jdk

保存并退出后 source ~/.bashrc 

Java和hadoop就环境安装好了 

 现在去hadoop 下面的etc/hadoop/ 修改hadoop-env.sh

将自己的Java地址写上即可

 再修改core-site.xml,<configuration>内加上以下内容 根据自己的主机和路径改

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop008:9000</value>
</property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.6.0/data/tmp</value>
        </property>

现在启动sbin/start-all.sh，正常运行