如何处理 Pandas 中的 SettingWithCopyWarning

Question

背景

我刚刚将我的 Pandas 从 0.11 升级到 0.13.0rc1。现在，该应用程序弹出了许多新的警告。其中一个是这样的：

 E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道具体是什么意思？我需要改变什么吗？

如果我坚持使用 quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE ，我应该如何暂停警告？

给出错误的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

    return quote_df

更多错误信息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

原文由 bigbug 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

创建 SettingWithCopyWarning 是为了标记可能令人困惑的“链式”分配，如下所示，它并不总是按预期工作，特别是当第一个选择返回一个 副本 时。 [有关背景讨论，请参阅 GH5390 和 GH5597 。]

 df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写的建议，如下所示：

 df.loc[df['A'] > 2, 'B'] = new_val

但是，这不适合您的用法，相当于：

 df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显，您并不关心将其写入原始帧（因为您正在覆盖对它的引用），但不幸的是，这种模式无法与第一个链式分配示例区分开来。因此（误报）警告。如果您想进一步阅读， 有关索引的文档 中解决了误报的可能性。您可以通过以下分配安全地禁用此新警告。

 import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

---

其他资源

• pandas 用户指南：索引和选择数据
• Python 数据科学手册：数据索引和选择
• 真正的 Python：Pandas 中的 SettingWithCopyWarning：视图与副本
• Dataquest：SettingwithCopyWarning：如何在 Pandas 中修复此警告
• 迈向数据科学：解释 Pandas 中的 SettingWithCopyWarning

原文由 Garrett 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

如何在 Pandas 中处理 SettingWithCopyWarning ？

这篇文章是为那些读者而写的，

1. 想了解此警告的含义
2. 想了解抑制此警告的不同方法
3. 想了解如何改进他们的代码并遵循良好做法以避免将来出现此警告。

设置

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

---

什么是 SettingWithCopyWarning ？

要知道如何处理此警告，重要的是首先要了解它的含义以及引发它的原因。

过滤数据帧时，根据内部布局和各种实现细节，可以对帧进行切片/索引以返回 视图 或 _副本_。顾名思义，“视图”是原始数据的视图，因此修改视图可能会修改原始对象。另一方面，“副本”是原始数据的复制，修改副本对原始数据没有影响。

正如其他答案所提到的，创建 SettingWithCopyWarning 是为了标记“链式赋值”操作。在上面的设置中考虑 df 。假设您想选择“B”列中的所有值，其中“A”列中的值 > 5。Pandas 允许您以不同的方式执行此操作，其中一些比其他方式更正确。例如，

 df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

和，

 df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

它们返回相同的结果，因此如果您只读取这些值，则没有区别。那么，问题是什么？链式赋值的问题在于，通常很难预测返回的是视图还是副本， 因此当您尝试将值赋回时，这在很大程度上会成为一个问题。 以前面的示例为基础，考虑解释器如何执行此代码：

 df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

通过单个 __setitem__ 调用 df 。 OTOH，请考虑以下代码：

 df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B', 4)

现在，根据 __getitem__ 返回的是视图还是副本， __setitem__ 操作 可能不起作用。

一般来说，您应该使用 loc 进行基于标签的赋值，而 iloc 用于基于整数/位置的赋值，因为规范保证它们始终在原始对象上运行。此外，要设置单个单元格，您应该使用 at 和 iat 。

可以在 文档 中找到更多内容。

注意 所有使用 loc 完成的布尔索引操作也可以使用 iloc 完成。唯一的区别是 iloc 需要索引的整数/位置或布尔值的 numpy 数组，以及列的整数/位置索引。

例如，

>  df.loc[df.A > 5, 'B'] = 4
>
> ```
>
> 可以写成nas
>
> ```
>  df.iloc[(df.A > 5).values, 1] = 4
>
> ```
>
> 和，
>
> ```
>  df.loc[1, 'A'] = 100
>
> ```
>
> 可以写成
>
> ```
> df.iloc[1, 0] = 100
>
> ```
>
> 等等。

* * *

# 告诉我如何抑制警告！

考虑对 `df` 的“A”列进行简单操作。选择“A”并除以 2 会发出警告，但操作会起作用。

df2 = df[[‘A’]] df2[‘A’] /= 2 /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/main.py:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead

df2 A 0 2.5 1 4.5 2 3.5

有几种方法可以直接消除此警告：

1. （推荐） **使用 `loc` 集进行切片**：

 df2 = df.loc[:, ['A']]
df2['A'] /= 2     # Does not raise

2. **更改 `pd.options.mode.chained_assignment`** `"warn"` 设置为 `None` `"raise"` `"warn"` 是默认值。 `None` 将完全抑制警告，而 `"raise"` 将抛出一个 `SettingWithCopyError` ，阻止操作通过。

 pd.options.mode.chained_assignment = None
df2['A'] /= 2

3. **做一个 `deepcopy`**

 df2 = df[['A']].copy(deep=True)
df2['A'] /= 2

[@Peter Cotton](https://stackoverflow.com/questions/20625582/how-to-deal-with-settingwithcopywarning-in-pandas#comment62589711_20625582) 在评论中提出了一种使用上下文管理器以非侵入方式更改模式（从 [本要点](https://gist.github.com/notbanker/2be3ed34539c86e22ffdd88fd95ad8bc) 修改）的好方法，仅在需要时设置模式，然后将其重置回完成时的原始状态。

> ```
>  class ChainedAssignent:
>     def __init__(self, chained=None):
>         acceptable = [None, 'warn', 'raise']
>         assert chained in acceptable, "chained must be in " + str(acceptable)
>         self.swcw = chained
>
>     def __enter__(self):
>         self.saved_swcw = pd.options.mode.chained_assignment
>         pd.options.mode.chained_assignment = self.swcw
>         return self
>
>     def __exit__(self, *args):
>         pd.options.mode.chained_assignment = self.saved_swcw
>
> ```

用法如下：

# Some code here with ChainedAssignent(): df2[‘A’] /= 2

More code follows

或者，引发异常

with ChainedAssignent(chained=‘raise’): df2[‘A’] /= 2

SettingWithCopyError: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead

* * *

# “XY 问题”：我做错了什么？

很多时候，用户试图寻找抑制此异常的方法，而没有完全理解为什么首先会引发此异常。这是 [XY 问题](https://meta.stackexchange.com/q/66377) 的一个很好的例子，用户试图解决的问题“Y”实际上是根深蒂固的问题“X”的症状。将根据遇到此警告的常见问题提出问题，然后提供解决方案。

> **问题 1** 我有一个 DataFrame
>
> ```
>  df
>        A  B  C  D  E
>     0  5  0  3  3  7
>     1  9  3  5  2  4
>     2  7  6  8  8  1
>
> ```
>
> 我想在 col "A" > 5 到 1000 中分配值。我的预期输出是
>
> ```
>       A  B  C  D  E
> 0     5  0  3  3  7
> 1  1000  3  5  2  4
> 2  1000  6  8  8  1
>
> ```

错误的做法：

df.A[df.A > 5] = 1000 # works, because df.A returns a view df[df.A > 5][‘A’] = 1000 # does not work df.loc[df.A > 5][‘A’] = 1000 # does not work

使用 `loc` 正确方法：

df.loc[df.A > 5, ‘A’] = 1000

> **问题 2 1** 我试图将单元格 (1, 'D') 中的值设置为 12345。我的预期输出是
>
> ```
>    A  B  C      D  E
> 0  5  0  3      3  7
> 1  9  3  5  12345  4
> 2  7  6  8      8  1
>
> ```
>
> 我尝试了访问此单元格的不同方法，例如 `df['D'][1]` 。做这个的最好方式是什么？
>
> 1\. 这个问题和warning没有特别的关系，但是最好了解如何正确的做这个操作，以免以后出现warning的情况。

您可以使用以下任何一种方法来执行此操作。

df.loc[1, ’D’] = 12345 df.iloc[1, 3] = 12345 df.at[1, ’D’] = 12345 df.iat[1, 3] = 12345

> **问题 3** 我正在尝试根据某些条件对值进行子集化。我有一个数据框
>
> ```
>    A  B  C  D  E
> 1  9  3  5  2  4
> 2  7  6  8  8  1
>
> ```
>
> 我想将“D”中的值分配给 123，这样“C”==5。我试过了
>
> ```
> df2.loc[df2.C == 5, 'D'] = 123
>
> ```
>
> 这看起来不错，但我 _仍然_ 得到 `SettingWithCopyWarning` ！我该如何解决？

这实际上可能是因为您的管道中的代码更高。您是否从更大的东西创建了 `df2` ，例如

df2 = df[df.A > 5]

？在这种情况下，布尔索引将返回一个视图，因此 `df2` 将引用原始视图。您需要做的是将 `df2` 分配给 _副本_：

df2 = df[df.A > 5].copy()

Or,

df2 = df.loc[df.A > 5, :]

> **问题 4** 我试图从
>
> ```
>    A  B  C  D  E
> 1  9  3  5  2  4
> 2  7  6  8  8  1
>
> ```
>
> 但是使用
>
> ```
> df2.drop('C', axis=1, inplace=True)
>
> ```
>
> 抛出 `SettingWithCopyWarning` 。为什么会这样？

这是因为 `df2` 一定是作为其他切片操作的视图创建的，例如

df2 = df[df.A > 5]

”`

这里的解决方案是制作一个 copy() 的 df ，或者像以前一样使用 loc 。

原文由 cs95 发布，翻译遵循 CC BY-SA 4.0 许可协议