在熊猫中按范围加入/合并的最佳方式

新手上路,请多包涵

我经常使用 pandas 通过使用范围条件进行合并(加入)。

例如,如果有 2 个数据帧:

A (A_id, A_value)

B (B_id,B_low, B_high, B_name)

它们很大并且大小大致相同(假设每个记录 2M)。

我想在 A 和 B 之间进行内部连接,因此 A_value 将介于 B_low 和 B_high 之间。

使用 SQL 语法将是:

 SELECT *
FROM A,B
WHERE A_value between B_low and B_high

这将非常简单、简短且高效。

同时在 pandas 中,唯一的方法(不是使用我发现的循环)是在两个表中创建一个虚拟列,加入它(相当于交叉连接),然后过滤掉不需要的行。这听起来沉重而复杂:

 A['dummy'] = 1
B['dummy'] = 1
Temp = pd.merge(A,B,on='dummy')
Result = Temp[Temp.A_value.between(Temp.B_low,Temp.B_high)]

我的另一个解决方案是通过使用 B[(x>=B.B_low) & (x<=B.B_high)] 掩码在每个 A 值上应用 B 上的搜索函数,但这听起来效率也很低,可能需要索引优化。

是否有更优雅和/或更有效的方式来执行此操作?

原文由 Dimgold 发布,翻译遵循 CC BY-SA 4.0 许可协议

阅读 321
2 个回答

设置

考虑数据帧 AB

 A = pd.DataFrame(dict(
        A_id=range(10),
        A_value=range(5, 105, 10)
    ))
B = pd.DataFrame(dict(
        B_id=range(5),
        B_low=[0, 30, 30, 46, 84],
        B_high=[10, 40, 50, 54, 84]
    ))

A

   A_id  A_value
0     0        5
1     1       15
2     2       25
3     3       35
4     4       45
5     5       55
6     6       65
7     7       75
8     8       85
9     9       95

B

   B_high  B_id  B_low
0      10     0      0
1      40     1     30
2      50     2     30
3      54     3     46
4      84     4     84

numpy

最简单✌的方法是使用 numpy 广播。

We look for every instance of A_value being greater than or equal to B_low while at the same time A_value is less than or equal to B_high

 a = A.A_value.values
bh = B.B_high.values
bl = B.B_low.values

i, j = np.where((a[:, None] >= bl) & (a[:, None] <= bh))

pd.concat([
    A.loc[i, :].reset_index(drop=True),
    B.loc[j, :].reset_index(drop=True)
], axis=1)

   A_id  A_value  B_high  B_id  B_low
0     0        5      10     0      0
1     3       35      40     1     30
2     3       35      50     2     30
3     4       45      50     2     30

为了解决评论并提供类似于左连接的内容,我附加了 A 不匹配的部分。

 pd.concat([
    A.loc[i, :].reset_index(drop=True),
    B.loc[j, :].reset_index(drop=True)
], axis=1).append(
    A[~np.in1d(np.arange(len(A)), np.unique(i))],
    ignore_index=True, sort=False
)

    A_id  A_value  B_id  B_low  B_high
0      0        5   0.0    0.0    10.0
1      3       35   1.0   30.0    40.0
2      3       35   2.0   30.0    50.0
3      4       45   2.0   30.0    50.0
4      1       15   NaN    NaN     NaN
5      2       25   NaN    NaN     NaN
6      5       55   NaN    NaN     NaN
7      6       65   NaN    NaN     NaN
8      7       75   NaN    NaN     NaN
9      8       85   NaN    NaN     NaN
10     9       95   NaN    NaN     NaN

原文由 piRSquared 发布,翻译遵循 CC BY-SA 4.0 许可协议

不确定这是否更有效,但是您可以直接将 sql(例如来自模块 sqlite3)与 pandas(受此 问题 启发)一起使用,例如:

 conn = sqlite3.connect(":memory:")
df2 = pd.DataFrame(np.random.randn(10, 5), columns=["col1", "col2", "col3", "col4", "col5"])
df1 = pd.DataFrame(np.random.randn(10, 5), columns=["col1", "col2", "col3", "col4", "col5"])
df1.to_sql("df1", conn, index=False)
df2.to_sql("df2", conn, index=False)
qry = "SELECT * FROM df1, df2 WHERE df1.col1 > 0 and df1.col1<0.5"
tt = pd.read_sql_query(qry,conn)

您可以根据需要在您的应用程序中调整查询

原文由 Adonis 发布,翻译遵循 CC BY-SA 4.0 许可协议

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题