R语言ETL工程：集合运算（intersect/union/setdiff）
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！
对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。
作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。
前文推送：
R语言ETL系列：汇总（summarise）
R语言ETL工程：分组（group_by）
R语言ETL工程：连接（join）
集合运算与连接其实有相似之处，但是连接是针对特定列（主键）来对表格进行连接，而集合运算则直接对记录（entry）进行运算。简单来说，就是以行为单位进行运算。假设表格A与表格B有相同的列名称，它们其实数据的来源是相同的，但是记录的东西有重复的部分，又有不一样的地方。如果我们想要知道哪些部分重复了，就需要求两个数据的交集。简单来讲，本章就是要讲数据记录的“交、并、补”运算。具体的运算逻辑如下图所示：
集合运算基本逻辑
内容比较简单，我们直接上例子。本章用到的数据集主要是mtcars，我们把它转化为tibble然后进行演示。环境准备如下：
1library(tidyverse)
2mtcars %>%
3rownames_to_column(var = "type") %>% #把行名称转为其中一列
4as_tibble() -> mtcars1 #转化为tibble格式
5
6mtcars1
7
8## # A tibble: 32 x 12
9## type mpg cyl disp hp drat wt qsec vs am gear carb
10## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
11## 1 Mazda~ 21 6 160 110 3.9 2.62 16.5 0 1 4 4
12## 2 Mazda~ 21 6 160 110 3.9 2.88 17.0 0 1 4 4
13## 3 Datsu~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
14## 4 Horne~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
15## 5 Horne~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
16## 6 Valia~ 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
17## 7 Duste~ 14.3 8 360 245 3.21 3.57 15.8 0 0 3 4
18## 8 Merc ~ 24.4 4 147. 62 3.69 3.19 20 1 0 4 2
19## 9 Merc ~ 22.8 4 141. 95 3.92 3.15 22.9 1 0 4 2
20## 10 Merc ~ 19.2 6 168. 123 3.92 3.44 18.3 1 0 4 4
21## # ... with 22 more rows
这样还不能够满足我们距离的需要，现在我们对这个数据集取两个子集，一个是从第1到第6列，第二个是从第3到第8列，分别存在变量a和变量b中。
1mtcars1 %>%
2slice(1:6) -> a
3
4mtcars1 %>%
5slice(3:8) -> b
6
7a
8
9## # A tibble: 6 x 12
10## type mpg cyl disp hp drat wt qsec vs am gear carb
11## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
12## 1 Mazda ~ 21 6 160 110 3.9 2.62 16.5 0 1 4 4
13## 2 Mazda ~ 21 6 160 110 3.9 2.88 17.0 0 1 4 4
14## 3 Datsun~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
15## 4 Hornet~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
16## 5 Hornet~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
17## 6 Valiant 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
18
19b
20
21## # A tibble: 6 x 12
22## type mpg cyl disp hp drat wt qsec vs am gear carb
23## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
24## 1 Datsun~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
25## 2 Hornet~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
26## 3 Hornet~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
27## 4 Valiant 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
28## 5 Duster~ 14.3 8 360 245 3.21 3.57 15.8 0 0 3 4
29## 6 Merc 2~ 24.4 4 147. 62 3.69 3.19 20 1 0 4 2
仔细看两分数据，我们知道他们有重叠的部分，也有不同的部分。下面我们来分别举例。
交（interset）
1a %>%
2intersect(b)
3
4## # A tibble: 4 x 12
5## type mpg cyl disp hp drat wt qsec vs am gear carb
6## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
7## 1 Datsun~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
8## 2 Hornet~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
9## 3 Hornet~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
10## 4 Valiant 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
我们发现两个表中，有四行是一样的。
SQL代码为：
1<SQL> SELECT *
2FROM `a`
3INTERSECT
4SELECT *
5FROM `b`
并（union）
1a %>%
2dplyr::union(b)
3
4## # A tibble: 8 x 12
5## type mpg cyl disp hp drat wt qsec vs am gear carb
6## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
7## 1 Merc 2~ 24.4 4 147. 62 3.69 3.19 20 1 0 4 2
8## 2 Duster~ 14.3 8 360 245 3.21 3.57 15.8 0 0 3 4
9## 3 Mazda ~ 21 6 160 110 3.9 2.88 17.0 0 1 4 4
10## 4 Hornet~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
11## 5 Datsun~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
12## 6 Mazda ~ 21 6 160 110 3.9 2.62 16.5 0 1 4 4
13## 7 Valiant 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
14## 8 Hornet~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
注意在这个步骤中，我们使用了“dplyr::”放在函数union之前，为什么呢？因为很多包（包括基本包）都会有同名函数union尽管有时候加载的时候会互相覆盖掉，这样就会发生歧义。因此如果我们知道一些函数的命名太过常见，就应该在函数之前加上包的名字和两个冒号，来声明我们用的是这个包里面的这个函数。
SQL代码为：
1<SQL> SELECT *
2FROM `a`
3UNION
4SELECT *
5FROM `b`
在我们进行“并”运算的时候，两个表格重复的部分在新表格中只会出现一次。如果我们想要的是记录的单纯叠加的话，可以这么做：
1a %>%
2union_all(b)
3
4## # A tibble: 12 x 12
5## type mpg cyl disp hp drat wt qsec vs am gear carb
6## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
7## 1 Mazda~ 21 6 160 110 3.9 2.62 16.5 0 1 4 4
8## 2 Mazda~ 21 6 160 110 3.9 2.88 17.0 0 1 4 4
9## 3 Datsu~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
10## 4 Horne~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
11## 5 Horne~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
12## 6 Valia~ 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
13## 7 Datsu~ 22.8 4 108 93 3.85 2.32 18.6 1 1 4 1
14## 8 Horne~ 21.4 6 258 110 3.08 3.22 19.4 1 0 3 1
15## 9 Horne~ 18.7 8 360 175 3.15 3.44 17.0 0 0 3 2
16## 10 Valia~ 18.1 6 225 105 2.76 3.46 20.2 1 0 3 1
17## 11 Duste~ 14.3 8 360 245 3.21 3.57 15.8 0 0 3 4
18## 12 Merc ~ 24.4 4 147. 62 3.69 3.19 20 1 0 4 2
SQL代码：
1<SQL> SELECT *
2FROM `a`
3UNION ALL
4SELECT *
5FROM `b`
补（setdiff）
1a %>%
2setdiff(b)
3
4## # A tibble: 2 x 12
5## type mpg cyl disp hp drat wt qsec vs am gear carb
6## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
7## 1 Mazda ~ 21 6 160 110 3.9 2.62 16.5 0 1 4 4
8## 2 Mazda ~ 21 6 160 110 3.9 2.88 17.0 0 1 4 4
这样我们得到的是表格a中有，而表格b中没有的记录。 SQL代码：
1<SQL> SELECT *
2FROM `a`
3EXCEPT
4SELECT *
5FROM `b`
判断是否相等（setequal）
dplyr中的函数还可以支持判断两个集合是否相等，这里判断标准是记录是否都一样，返回一个逻辑值（T/F）。判断表格是否相等，只跟内容有关，跟内容的排列顺序无关。
1a %>%
2setequal(b)
3
4## [1] FALSE
5
6mtcars1 %>%
7setequal(mtcars1[32:1,]) #mtcars1[32:1,]中，我们把mtcars1所有记录倒序排列了
8
9## [1] TRUE
小结
本章讲述了集合运算，即集合之间的交、并、补运算，当我们把表格记录视为对象的时候，这些操作能够帮助我们找到两个表格中重复的记录、不同的记录，还可以判断两个表格是否相同。
——————————————
往期精彩：
被知乎反杀，是一种什么体验？
字节跳动“车轮”收割
清华、北大、浙大的计算机课程资源集都在这里了
R语言中文社区2018年终文章整理（作者篇）
R语言中文社区2018年终文章整理（类型篇）