大数据技术与应用课程相关实验

实验内容

  • 使用 VMWare Workstation pro安装 CentOS 7.6
  • 安装并配置 Hadoop,实现伪分布式与分布式部署
  • 安装配置JDK+Eclipse+Maven以及Eclipse里新建Maven Project
  • 启动自带MapReduce示例程序 WordCount
  • 编写程序,利用 Hadoop 的 Java API 实现启动自带MapReduce示例程序 WordCount
  • 安装并配置 Hbase,编写程序,利用HBase 的 Java API 实现简单的CRUD操作
  • 安装 配置Redis
  • 安装并配置 Hive、MySQL 及其 JDBC 驱动,编写 HiveSQL 语句实现简单的CRUD操作
  • 安装并配置 Spark 及 Scala 语言环境,熟悉 Spark Shell,并分别使用 Scala 语言和 Java 语言编写 WordCount 并执行

安装CentOS7

点击【创建新的虚拟机】
大数据技术与应用课程相关实验
选择【自定义安装】,点击下一步
大数据技术与应用课程相关实验
点击【下一步】
大数据技术与应用课程相关实验
选择【稍后安装操作系统(S)】,点击下一步
大数据技术与应用课程相关实验
选择【Linux(L)】,CentOS 64位,点击下一步
大数据技术与应用课程相关实验
输入虚拟机名称,选择安装位置

大数据技术与应用课程相关实验
点击【下一步】

大数据技术与应用课程相关实验
点击【下一步】

大数据技术与应用课程相关实验
点击【使用网络地址转换(NAT)(E)】

大数据技术与应用课程相关实验
选择【LSI Logic(L)】点击【下一步】

大数据技术与应用课程相关实验
选择【SCSI(S)】点击【下一步】

大数据技术与应用课程相关实验
选择【创建新虚拟磁盘】点击【下一步】

大数据技术与应用课程相关实验
选择【将虚拟磁盘拆分成多个文件(M)】点击【下一步】

大数据技术与应用课程相关实验
点击【下一步】

大数据技术与应用课程相关实验
点击【自定义硬件©…】

大数据技术与应用课程相关实验
点击【浏览(B)…】,输入安装文件的路径,点击【关闭】

大数据技术与应用课程相关实验
点击【完成】

大数据技术与应用课程相关实验
点击【开启此虚拟机】

大数据技术与应用课程相关实验
点击【确定】

大数据技术与应用课程相关实验
点击【确定】

大数据技术与应用课程相关实验
选择【中文】

大数据技术与应用课程相关实验
各个选项如下设置,最后点击【网络与主机名(N)】

大数据技术与应用课程相关实验
点击【开启】,自动生成相关信息,输入主机名,拍照此页面备用(如记录ip地址、网关等),之后点击【应用】

大数据技术与应用课程相关实验
点击【开始安装】
大数据技术与应用课程相关实验
ROOT用户密码必须设置,记住备用。

大数据技术与应用课程相关实验
输入root密码
大数据技术与应用课程相关实验
安装结束,点击【重启®】
大数据技术与应用课程相关实验
启动成功
大数据技术与应用课程相关实验