数据科学包8-pandas高级内容之聚合统计

聚合统计

1.数据聚合

分组运算，先根据一定规则拆分后的数据，然后对数据进行聚合运算，如前面见到的 mean(), sum() 等就是聚合的例子。聚合时，拆分后的第一个索引指定的数据都会依次传给聚合函数进行运算。最后再把运算结果合并起来，生成最终结果。

聚合函数除了内置的 sum(), min(), max(), mean() 等等之外，还可以自定义聚合函数。自定义聚合函数时，使用 agg() 或 aggregate() 函数。

1）内置聚合函数

2)自定义聚合函数agg

3）一次性应用多个聚合函数

4）给不同的类应用不同的聚合函数-使用 dict 作为参数来实现

5）重置索引

2.分组运算和转换

groupby 是特殊的分组运算。更一般的分组运算包括 “拆分 - 应用 - 合并”。这里介绍 transform() 和 apply() 来实现分组运算。

1）分组数据变换-transform

2)距平化-与平均值的差异值

3）自定义数据处理apply

DataFrame 的 apply 函数是逐行或逐列来处理数据。GroupBy 的 apply 函数对每个分组进行计算。

4）apply 应用示例

apply 应用示例：用不同的分组平均值填充空缺数据