SparkSQL基本操作----作业一
题目:
SparkSQL基本操作将下列JSON格式数据复制到Linux系统中, 并保存命名为employee. json。
{ "id": 1 , "name":" Ella" , "age": 36 }
{ "id": 2, "name":" Bob","age": 29 }
{ "id": 3 , "name":" Jack","age": 29 }
{ "id": 4 , "name":" Jim","age": 28 }
{ "id": 4 , "name":" Jim","age": 28 }
{ "id": 5 , "name":" Damon" }
{ "id": 5 , "name":" Damon" }
为 employee. json创建DataFrame, 并写出Scala语句完成下列操作:
- 查询所有数据;
- 查询所有数据, 并去除重复的数据;
- 查询所有数据, 打印时去除id字段;
- 筛选出 age> 30的记录;
- 将数据按 age 分组;
- 将数据按 name 升序排列;
- 取出前 3 行数据;
- 查询所有记录的 name 列, 并为其取别名为 username;
- 查询年龄 age 的平均值;
- 查询年龄 age 的最小值。
代码:
启动hadoop,spark;
spark-shell
1、查询所有数据;
2、查询所有数据, 并去除重复的数据;
3、查询 所有 数据, 打印 时 去除 id 字段;
4、筛选 出 age> 30 的 记录;
5、将 数据 按 age 分组;
6、将 数据 按 name 升序 排列;
7、取出 前 3 行 数据;
8、查询 所有 记录 的 name 列, 并为 其 取 别名 为 username;
9、查询 年龄 age 的 平均值;
10、查询 年龄 age 的 最小值。