centous7下mysql+hive的安装配置及使用

一、安装mysql
1、查看是否安装过mysql

[[email protected] modules]$rpm -qa | grep -i mysql

 此种情况表示安装过，卸载如下：

[[email protected] modules]$ sudo yum remove mysql-community-libs-5.7.23-1.el7.x86_64

[[email protected] modules]$ sudo yum remove mysql57-community-release-el7-8.noarch

[[email protected] modules]$ sudo yum remove mysql-community-common-5.7.23-1.el7.x86_64

[[email protected] modules]$ whereis mysql
mysql: /usr/share/mysql
[[email protected] modules]$ rm -rf /usr/share/mysql

[[email protected] modules]$ whereis mysql
mysql:[[email protected] modules]$

再次查看有无安装：

结果显示表示并未安装过。

2、配置yum源

下载mysql：

[[email protected] modules]$  wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
yum安装mysql：

[[email protected] modules]$ sudo yum localinstall mysql57-community-release-el7-8.noarch.rpm

检查mysql源是否安装成功

 3、安装mysql

[[email protected] modules]$ sudo yum install mysql-community-server

4、启动

systemctl start mysqld或service mysqld start或者/etc/init.d/mysqld start

查看启动状态:

systemctl status mysqld

5、设置开机启动

systemctl enable mysqld

systemctl daemon-reload

6、修改root默认密码

mysql安装完成之后，在/var/log/mysqld.log文件中会生成一个root默认密码。

1）查看root默认密码：grep 'temporary password' /var/log/mysqld.log

aed,/youD68h即为默认密码

2）登录mysql：mysql -u root -p

enter之后输入默认密码

3）修改密码：mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

注意：mysql5.7默认安装了密码安全检查插件（validate_password），默认密码检查策略要求密码必须包含：大小写字母、数字和特殊符号，并且长度不能少于8位。

否则会提示如下error

再次修改：

4）通过环境变量查看密码策略信息
validate_password_policy              | MEDIUM 表示为当前使用的是中级密码策略
mysql> show variables like '%password%';

说明：

validate_password_policy：密码策略，默认为MEDIUM策略  

validate_password_dictionary_file：密码策略文件，策略为STRONG才需要 

validate_password_length：密码最少长度 

validate_password_mixed_case_count：大小写字符长度，至少1个 

validate_password_number_count ：数字至少1个 

validate_password_special_char_count：特殊字符至少1个  上述参数是默认策略MEDIUM的密码检查规则。

共有以下几种密码策略：
策略     检查规则
0 or LOW     Length
1 or MEDIUM     Length; numeric, lowercase/uppercase, and special characters
2 or STRONG     Length; numeric, lowercase/uppercase, and special characters; dictionary file

MySQL官网密码策略详细说明：

http://dev.mysql.com/doc/refman/5.7/en/validate-password-options-variables.html#sysvar_validate_password_policy

 5）修改密码策略：

[[email protected] ~]$ sudo vi /etc/my.cnf

配置禁用密码策略：validate_password = off

在[mysqld]下添加编码配置：

character_set_server=utf8
init_connect='SET NAMES utf8'

重新启动mysql服务使配置生效：systemctl restart mysqld 

6）再次登录修改密码：mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

7）添加远程登陆用户

默认只允许root帐户在本地登录，如果要在其它机器上连接mysql，必须修改root允许远程连接，或者添加一个允许远程连接的帐户，为了安全起见，创建hadoop用户并赋予权限：

8）登录hadoop用户

[[email protected] modules]# mysql -u hadoop -p
Enter password:

查看mysql数据库编码： show variables like '%character%'

9） mysql默认配置文件路径
配置文件：/etc/my.cnf  
日志文件：/var/log//var/log/mysqld.log  
服务启动脚本：/usr/lib/systemd/system/mysqld.service  
socket文件：/var/run/mysqld/mysqld.pid

至此mysql安装成功。

二、安装hive

1、下载解压

2、配置文件hive-site.xml

复制依赖包：cp mysql-connector-java-5.1.43-bin.jar hive-2.3.3/lib/

配置环境变量：

export HIVE_HOME=/opt/modules/hive-2.3.3

export PATH=$PATH:$HIVE_HOME/bin

3、创建hive数据库

4、初始化mysql

5、启动hive

6、测试

hive安装配置完成。

三、hive两种连接方式

1、命令行连接

/bin下启动hive

2、beeline连接：！connect<jdbcUrl>

配置hadoop代理用户，登录beeline（hiveserver2）：

• 修改配置文件hdfs-site.xml，添加如下信息：

   

• 修改配置文件core-site.xml，添加如下信息：

  

• 分发配置文件给其他节点

[[email protected] hadoop]$ scp -r hdfs-site.xml [email protected]:/opt/modules/hadoop-2.7.6/etc/hadoop/

[[email protected] hadoop]$ scp -r hdfs-site.xml [email protected]:/opt/modules/hadoop-2.7.6/etc/hadoop/

[[email protected] hadoop]$ scp -r core-site.xml [email protected]:/opt/modules/hadoop-2.7.6/etc/hadoop/

[[email protected] hadoop]$ scp -r core-site.xml [email protected]:/opt/modules/hadoop-2.7.6/etc/hadoop/

说明：

hadoop.proxyuser.hadoop.hosts 配置成*的意义，表示任意节点使用 hadoop 集群的代理用户hadoop 都能访问 hdfs 集群，hadoop.proxyuser.hadoop.groups 表示代理用户的组所属

• 启动

1. 启动为前台：hiveserver2            

        

         此窗口不能关，再克隆一个h3窗口，使用jps查看进程： 会发现多了一个runjar进程

         进入beeline客户端： !connect jdbc:hive2://h3:10000

           

            ！connect jdbc:hive2://  是固定格式，h3为hive客户端服务所在节点，10000为端口号  

       2.启动为后台

         第一步：先启动hiceserver2服务

            nohup  hiveserver2  1>/home/hadoop/hiveserver.log  2>/home/hadoop/hiveserver.err &      

            或者：nohup  hiveserver2  1>/dev/null  2>/dev/null  & 

            或者：nohup  hiveserver2  >/dev/null  2>&1  &

              

         以上 3 个命令是等价的，第一个表示记录日志，第二个和第三个表示不记录日志

        命令中的 1 和 2 的意义分别是： 
        1：表示标准日志输出 
         2：表示错误日志输出

         若没有配置日志的输出路径，日志会生成在当前工作目录，默认日志名称为：nohup.xxx 

     第二步：启动 beeline客户端

      执行命令： beeline  -u  jdbc:hive2://h3:10000  -n  hadoop 

      或先执行beeline，再连接，如下：

     

      测试：