余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

修改模板配置文件解释

修改hive-default.xml.template

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建
修改了两个目录的路径,将Hive的配置文件存在安装目录的tmp下,所以会创建一个tmp。将所有产生的临时文件或者配置文件,所有的工作内容都放到了安装目录下。

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建将metastore的路径更改到app-12上。

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建相关的连接密码修改为Yhf_1018。

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建连接的字符串。

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建在初始化之后会创建schema,不需要检验。

修改hive-log4j2.properties.template

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建将log的目录更改到安装目录下。

启用自动化集群脚本

1、在app-11上,以hadoop用户登录。
命令:su - hadoop
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

2、进入到/hadoop目录下。
命令:cd /hadoop/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

3、将config.conf、startAll.sh、stopAll.sh删除。
命令:rm -rf config.conf startAll.sh stopAll.sh
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

4、进入/tmp/Spark-stack/Hive/Automated scripts/目录下。
命令:cd /tmp/Spark-stack/Hive/Automated scripts/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

5、将 startAll.sh、stopAll.sh、config.conf /hadoop/拷贝到/hadoop目录下。
命令:cp -r startAll.sh stopAll.sh config.conf /hadoop/余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

6、将cremoteSSH.exp 拷贝到/hadoop/tools/目录下。
命令:cp remoteSSH.exp /hadoop/tools/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

7、进入/hadoop目录下。
命令:cd /hadoop/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

8、赋予执行权限。
命令:chmod a+x *.sh
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

9、启动集群。
命令:./startAll.sh
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

安装Hive

将Hive安装到app-12上,减轻app-11的负载。

检查集群是否正常启动

1、在app-11上,以hadoop登录。
命令:su – hadoop注:所有的启停工作都在app-11上。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

2、检查集群是否正常启动。
命令:jps
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

检查3306端口(MySQL端口)是否启动

3、在app-12上。
命令:netstat -tnl注:如果没有启动需要手动启动。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

启动MySQL

4、在app-12的hadoopmysql中new terminal。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

5、进入root用户下。
命令:sudo /bin/bash
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

6、启动mysql服务器。
命令:service mysql start
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

7、登录MySQL,查看是否正常启动。
命令:mysql -uroot -p注:输入数据库密码,这里的默认密码是Yhf_1018。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

下载安装包

8、在app-12上hadoopc2的new terminal,以hadoop用户登录。
命令:su – hadoop注:所有的启停工作都在app-11上。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

9、进入hadoop目录下。
命令:cd /hadoop/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

10、创建安装Hive的目录。
命令:mkdir Hive
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

11、进入到该目录下。
命令:cd Hive/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

12、下载Hive安装包。
命令:wget https://archive.apache.org/dist/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

13、解压安装包。
命令:tar -xf apache-hive-3.1.1-bin.tar.gz
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

更改模板配置文件

14、进入到安装目录下的配置文件。
命令:cd apache-hive-3.1.1-bin/conf/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

15、删除hive-default.xml.template和hive-log4j2.properties.template模板文件。
命令:rm -r hive-log4j2.properties.template hive-default.xml.template
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

16、进入到/tmp/Spark-stack/Hive/conf/目录下。
命令:cd /tmp/Spark-stack/Hive/conf/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

17、将修改后的配置文件拷贝到安装目录下的配置文件中。
命令:cp -r hive-log4j2.properties hive-site.xml /hadoop/Hive/apache-hive-3.1.1-bin/conf/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

修改环境变量

18、返回安装目录。
命令:cd /hadoop/Hive/apache-hive-3.1.1-bin
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

19、创建tmp和log文件。
命令:mkdir {tmp,log}
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

20、将Hive的路径加到环境变量中。
命令:vi ~/.bashrc
export HIVE_HOME=/hadoop/Hive/apache-hive-3.1.1-bin
export PATH=${HIVE_HOME}/bin:$PATH
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

21、将环境变量生效。
命令:source ~/.bashrc
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

22、查看环境变量是否生效。
命令:echo $PATH
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

创建Metastore的database

23、返回mysql中new terminal,赋权限在任何客户端都可以登录,不受ip限制。
命令:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Yhf_1018' with grant option;
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

24、将权限生效。
命令:FLUSH privileges;
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

25、先删除Metastore的database,这里是没有的,为了多次使用安全的一个措施。
命令:drop database if exists hive;
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

26、创建Metastore的database。
命令:create database hive;
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

27、查看是否创建成功。
命令:show databases;
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

28、退出MySQL。
命令:quit
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

下载驱动

29、返回hadoopc2的new terminal上,将MySQL的驱动下载到安装目录的lib下,先进入到lib的目录下。
命令:cd lib/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

30、下载驱动。
命令:wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

初始化Metastore

31、进入bin目录下。
命令:cd /hadoop/Hive/apache-hive-3.1.1-bin/bin
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

32、初始化Metastore。
命令:schematool -dbType mysql -initSchema
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

启动Hive service

33、启动Hive service。
命令:nohup ./hive --service metastore > /hadoop/Hive/apache-hive-3.1.1-bin/log/metastore.log 2>&1 &注:因为需要将service放到后台服务,所以使用nohup启动方式启动metastore服务,将所有的打印打印到log下
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

34、将hive进程显示出来。
命令:ps -ef | grep hive余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

35、启动hive。
命令:hive
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

36、查看databases。
命令:show databases;注:没有创建database。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

37、按Ctrl+c退出命令行。
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

重启集群

38、在app-11上,进入/hadoop目录。
命令:cd /hadoop/
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

39、将安装完的信息export出去。
命令:vi config.conf
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

40、停止所有的集群。
命令:./stopAll.sh
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

41、登录其他两台机器查看集群。
命令:ssh [email protected] "jps"ssh [email protected] "jps"
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

42、重启集群。
命令:./startAll.sh
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

43、查看集群启动。
命令:jps
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

44、查看其它机器上的集群。
命令:ssh [email protected] "jps"ssh [email protected] "jps"
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

常见问题

余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建

问题原因:在lib目录下初始化一系列工作了。
问题解决:删除集群重新搭建。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
余老师带你学习大数据-Spark快速大数据处理第五章第二节Hive环境搭建