Hortonworks-Data-Platform-大数据开发环境的使用

更多信息https://blue-shadow.top/

附书代码Github工程:https://github.com/Shadow-Hunter-X

Hortonworks

Hortonworks是国际领先的开发、推广和支持Apache Hadoop的商业供应商，它的Hadoop认证也是业界公认的Hadoop权威认证。
其有多款产品,其中HDP为数据平台，目前最新版本的 HDP 为企业提供了新的功能，支持敏捷的应用程序部署、机器学习/深度学习工作负载、实时数据仓储以及安全和治理。它是现代化数据架构的关键组件。

HDP全称叫做Hortonworks Data Platform。
　　Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放，稳定和高度可扩展的平台，使得更容易地集成Apache Hadoop的数据流业务与现有的数据架构。该平台包括各种的Apache Hadoop项目以及Hadoop分布式文件系统（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper和其他各种组件，使Hadoop的平台更易于管理，更加具有开放性以及可扩展性

网站地址

HDP SandBox

Hortonworks Sandbox，可以使用它尝试一下最新的hdp特性和功能。它可以装在一个VM上，如此来说，给我们学习大数据相关内容提供了极大的便利。 成功导入虚拟机后的界面如下:

使用HDP大数据开发环境

• 账号使用的初始化，从主页面中进入 Advanced HDP

进入到ADVANCED HDP QUICK LINKS界面，这样可以快速进入到各个管理界面，注意的是在每个管理入口中都显示了相应的登入方法或账号

首次使用root账号登录时，需要修改root密码，后续重置ambari admin账号后，才可以使用ambari管理界面

使用命令: ambari-admin-password-reset 来重置admin账号,在成功的重置后，进入到ambari管理界面对Hadoop大数据体系各服务和组件进行使用,注意刚启动时，各个服务还未启动或还在启动，所以需要等待各个服务完全启动成功。

使用

• 从 ambari进入各个管理web界面：
  进入到 HDAOOP web控制台:
  

HDAOOP原始管理界面:

进入到 Oozie web控制台

Oozie原始 web控制台

• 在ambari中查看修改配置文件，对各服务进行控制
  由于hadoop大数据体系环境中，各个服务和组件中有大量的配置工作，所以对于配置文件的查找和修改时很费时的，但是在
  ambari中快速定位和修改这些配置文件。
  以Hive服务说明：
  
  Hive的各种配置信息
  
  还可以查看Hive表，输入Hive Sql进行查询操作
  

• 在Shell 控制台中操作
  对Hadoop的高级用户可以直接在shell web中进行操作，查看配置文件等，HDP安装的路径为：/usr/hdp/版本号/
  
  所以通过上述阐述的信息，开始大数据之旅吧。