Hadoop的伪分布式配置

一．准备工作
1.Hadoop安装包 我的版本是hadoop-2.7.6.tar.gz
2.Jdk的安装包 我的版本是jdk-8u181-linux-x64.tar.gz
二．准备
1.1创建Hadoop用户
$sudo useradd -m hadoop -s /bin/bash #创建Hadoop用户，用/bin/bash/作为shell
$sudo passwd hadoop #设置密码
$sudo adduser hadoop sudo #为Hadoop增加管理员权限
$su - hadoop #切换到Hadoop用户
$sudo apt-get update #更新Hadoop的apt

1.2安装ssh,设置ssh无密码登陆
$sudo apt-get install openssh-server
$ssh localhost #第一次登陆需要设置密码
$exit # 退出登陆的ssh localhost
$cd ~/ .ssh/ #进入该目录 ，执行ssh localhost
$ssh-****** -t rsa #点击回车
$cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ssh localhost #现在就可以无密码登陆



二．安装jdk
$mkdir jdk -8u181-linux-x64.tar.gz /usr/lib/jvm #创建jvm文件夹
$sudo tar zxvf jdk-1.8.0_181 -C /usr/lib/jvm 将压缩包解压至jvm文件夹，注意解压时应该切换到压缩包的文件夹
$cd /usr/lib/jvm #切换到jvm文件夹
$mv jdk-1.8.0_181 java #将文件改名为 Java
$vi ~/.bashrc 打开文件，配置环境 在文件中加入：export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=$vi /.bashrc打开文件，配置环境在文件中加入：exportJAVAH​OME=/usr/lib/jvm/javaexportJREH​OME={JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:$JAVAH​OME/lib:{JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$JAVAH​OME/bin:PATH
Source ~/.bashrc #使配置的环境变量生效
java -version #验证是否配置成功


三．安装Hadoop
$sudo tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/jvm #解压压缩包
$cd /usr/local
$sudo mv hadoop-2.7.6/ hadoop #改名为hadoop
$sudo chown -R hadoop ./hadoop #修改文件的权限
KaTeX parse error: Expected 'EOF', got '#' at position 15: vim ~/.bashrc #̲修改文件 在文件中加入：exp…($HADOOP_HOME/bin/hadoop classpath):$HADOOPH​OME/bin/hadoopclasspath):CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$HADOOPH​OME/lib/nativeexportPATH=PATH:$HADOOP_HOME/bin:$HADOOPH​OME/bin:HADOOP_HOME/sbin
$source ~/.bashrc # 使设置生效
$hadoop -version #验证Hadoop是否安装成功


四．伪分布设置
Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中
将路径添加到hadoop-env.sh文件中
cd /usr/local/hadoop/etc/hadoop
vim /hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java
$vim core-site.xml
将以下部分加入
<property
hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000


$vim hdsf-site.xml
在文件中加入

hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000


$./bin/hdfs namenode -format #将namende 格式化
$./sbin/start-dfs.sh #启动进程
$jps #查看启动结果