大数据技术与应用课程相关实验
实验内容
- 使用 VMWare Workstation pro安装 CentOS 7.6
- 安装并配置 Hadoop,实现伪分布式与分布式部署
- 安装配置JDK+Eclipse+Maven以及Eclipse里新建Maven Project
- 启动自带MapReduce示例程序 WordCount
- 编写程序,利用 Hadoop 的 Java API 实现启动自带MapReduce示例程序 WordCount
- 安装并配置 Hbase,编写程序,利用HBase 的 Java API 实现简单的CRUD操作
- 安装 配置Redis
- 安装并配置 Hive、MySQL 及其 JDBC 驱动,编写 HiveSQL 语句实现简单的CRUD操作
- 安装并配置 Spark 及 Scala 语言环境,熟悉 Spark Shell,并分别使用 Scala 语言和 Java 语言编写 WordCount 并执行
安装CentOS7
点击【创建新的虚拟机】
选择【自定义安装】,点击下一步
点击【下一步】
选择【稍后安装操作系统(S)】,点击下一步
选择【Linux(L)】,CentOS 64位,点击下一步
输入虚拟机名称,选择安装位置
点击【下一步】
点击【下一步】
点击【使用网络地址转换(NAT)(E)】
选择【LSI Logic(L)】点击【下一步】
选择【SCSI(S)】点击【下一步】
选择【创建新虚拟磁盘】点击【下一步】
选择【将虚拟磁盘拆分成多个文件(M)】点击【下一步】
点击【下一步】
点击【自定义硬件©…】
点击【浏览(B)…】,输入安装文件的路径,点击【关闭】
点击【完成】
点击【开启此虚拟机】
点击【确定】
点击【确定】
选择【中文】
各个选项如下设置,最后点击【网络与主机名(N)】
点击【开启】,自动生成相关信息,输入主机名,拍照此页面备用(如记录ip地址、网关等),之后点击【应用】
点击【开始安装】
ROOT用户密码必须设置,记住备用。
输入root密码
安装结束,点击【重启®】
启动成功