使用 pandas GroupBy 获取每个组的统计信息（例如计数、平均值等）？

Question

我有一个数据框 df 我使用其中的几列到 groupby ：

 df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

通过上述方式，我几乎得到了我需要的表格（数据框）。缺少的是一个附加列，其中包含每个组中的行数。换句话说，我有意思，但我也想知道有多少数字被用来获得这些意思。例如，第一组有 8 个值，第二组有 10 个值，依此类推。

简而言之：如何获取数据框的 分组 统计信息？

原文由 Roman 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

在 groupby 对象上， agg 函数可以使用一个列表同时 应用多种聚合方法。这应该会给你你需要的结果：

 df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])

原文由 Zeugma 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

快速回答：

获取每组行数的最简单方法是调用 .size() ，它返回 Series ：

 df.groupby(['col1','col2']).size()

通常你想要这个结果作为 DataFrame （而不是 Series ）所以你可以这样做：

 df.groupby(['col1', 'col2']).size().reset_index(name='counts')

如果您想了解如何计算每个组的行数和其他统计信息，请继续阅读下文。

---

详细示例：

考虑以下示例数据框：

 In [2]: df
Out[2]:
  col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

首先让我们使用 .size() 获取行数：

 In [3]: df.groupby(['col1', 'col2']).size()
Out[3]:
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

然后让我们使用 .size().reset_index(name='counts') 来获取行数：

 In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]:
  col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1

包括更多统计结果

当你想对分组数据进行统计时，通常是这样的：

 In [5]: (df
   ...: .groupby(['col1', 'col2'])
   ...: .agg({
   ...:     'col3': ['mean', 'count'],
   ...:     'col4': ['median', 'min', 'count']
   ...: }))
Out[5]:
            col4                  col3
          median   min count      mean count
col1 col2
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

由于嵌套的列标签，而且行数是按列计算的，上面的结果处理起来有点烦人。

为了更好地控制输出，我通常将统计信息拆分为单独的聚合，然后使用 join 组合这些聚合。它看起来像这样：

 In [6]: gb = df.groupby(['col1', 'col2'])
   ...: counts = gb.size().to_frame(name='counts')
   ...: (counts
   ...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
   ...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
   ...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
   ...:  .reset_index()
   ...: )
   ...:
Out[6]:
  col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63

---

脚注

用于生成测试数据的代码如下所示：

 In [1]: import numpy as np
   ...: import pandas as pd
   ...:
   ...: keys = np.array([
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['E', 'F'],
   ...:         ['E', 'F'],
   ...:         ['G', 'H']
   ...:         ])
   ...:
   ...: df = pd.DataFrame(
   ...:     np.hstack([keys,np.random.randn(10,4).round(2)]),
   ...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
   ...: )
   ...:
   ...: df[['col3', 'col4', 'col5', 'col6']] = \
   ...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
   ...:

免责声明：

如果您聚合的某些列具有空值，那么您确实希望将组行计数视为每列的独立聚合。否则，您可能会被误导，不知道有多少记录实际用于计算平均值之类的东西，因为 pandas 会在不告诉您的情况下丢弃平均值计算中的 NaN 条目。

原文由 Pedro M Duarte 发布，翻译遵循 CC BY-SA 4.0 许可协议