SettingWithCopyWarningの解決方法について

Question

実現したいこと

DataFrameの中の1列を取り出して、その移動平均を計算し、新たな列として加えたい。

発生している問題・分からないこと

SettingWithCopyWarningが発生します。（計算結果はあっているもよう）

エラーメッセージ

<ipython-input-1-44eea35d0d69>:12: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  df1['SMA1'] = df1['b'].rolling(2).mean()

該当のソースコード

import pandas as pd

df = pd.DataFrame({'a': [0, 1, 2], 'b': [3, 4, 5], 'c':[6,7,8]}, index=['x', 'y', 'z'])
print(df)
print()
df1 = df.iloc[:, [1]]

print(df1)
print()

# rollingで移動平均を作る
df1['SMA1'] = df1['b'].rolling(2).mean()

print(df1)

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

DataFrameから1列抽出するのではなく、最初から1列だけの場合には、警告は出ません。

import pandas as pd

df2 = pd.DataFrame({'b': [3, 4, 5]}, index=['x', 'y', 'z'])
print(df2)
print()

rollingで移動平均線を作る

df2['SMA1'] = df2['b'].rolling(2).mean()

print(df2)

結果は以下の通り。
b
x 3
y 4
z 5

b SMA1
x 3 NaN
y 4 3.5
z 5 4.5

補足

できうるならば、最初のような形で、DataFrameから列を抽出して作業をしたいのですが、どのようにすればいいのか、教えていただけませんでしょうか。
よろしくお願いいたします。

Comments

[melian]

warning message にある様に、loc メソッドを使うとよいかと。

df1.loc[:,['SMA1']] = df1['b'].rolling(2).mean()

[tamtam2020]

ありがとうございます。でも、ダメでした。

<ipython-input-2-113a0d1e09c6>:14: SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
df1.loc[:,['SMA1']] = df1['b'].rolling(2).mean()

[melian]

こちらの環境は Python 3.11.6/Pandas 2.2.1 なのですが、.loc メソッドを使うことで warning message が表示されなくなります。
もしくは、編集前のコメントに書いた様に df1 を作成する際に copy() を実行するとよいかもしれません。
df1 = df.iloc[:, [1]]
=>
df1 = df.iloc[:, [1]].copy()

[tamtam2020]

ありがとうございます。
バージョンの問題ですか、、、私が使っているのは、Google Colaboratoryですが、
バージョンは、
Python 3.10.12
Pandas 1.5.3
です。バージョンを上げれば警告は消えて、かつ問題ない、ということですかね。

[melian]

> バージョンを上げれば警告は消えて、かつ問題ない、ということですかね。

はい、おそらくその通りかと。差し支えがなければ Pandas を最新版にアップデートしてみてください。

[tamtam2020]

ありがとうございます。ですが、せっかくのご提案ながら、うまく行きません。
まず、Google Colabでのpandasのバージョンアップができません。dependency conflictsを生じているとか。何か、根本的に変えなければいけないのかもしれません。

また、.copy を付けると、以下のエラーが出ます。
TypeError: 'method' object is not subscriptable

もう少し、調べてみます。

[melian]

こちらでも試してみましたが、最初に Pandas 2.2.1 をインストールしてコードを実行すると warning は表示されませんでした。

!pip install pandas==2.2.1

[tamtam2020]

ありがとうございます。しかし、なぜかうまく行きません。
!pip install pandas==2.2.1

の結果は、以下のエラーで、バージョンアップはされていません。
Collecting pandas==2.2.1
Using cached pandas-2.2.1-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (13.0 MB)
Requirement already satisfied: numpy<2,>=1.22.4 in /usr/local/lib/python3.10/dist-packages (from pandas==2.2.1) (1.25.2)
Requirement already satisfied: python-dateutil>=2.8.2 in /usr/local/lib/python3.10/dist-packages (from pandas==2.2.1) (2.8.2)
Requirement already satisfied: pytz>=2020.1 in /usr/local/lib/python3.10/dist-packages (from pandas==2.2.1) (2023.4)
Requirement already satisfied: tzdata>=2022.7 in /usr/local/lib/python3.10/dist-packages (from pandas==2.2.1) (2024.1)
Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.10/dist-packages (from python-dateutil>=2.8.2->pandas==2.2.1) (1.16.0)
Installing collected packages: pandas
Attempting uninstall: pandas
Found existing installation: pandas 2.1.4
Uninstalling pandas-2.1.4:
Successfully uninstalled pandas-2.1.4
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
bigframes 0.22.0 requires pandas<2.1.4,>=1.5.0, but you have pandas 2.2.1 which is incompatible.
google-colab 1.0.0 requires pandas==1.5.3, but you have pandas 2.2.1 which is incompatible.
Successfully installed pandas-2.2.1

何か、環境がことなるのでしょうか？

[tamtam2020]

いや、ノートブックを新規作成し、そこでpandasをバージョンアップすると、できました。これで先に進めそうです。どうもありがとうございます。

[melian]

一応、Successfully installed pandas-2.2.1 と表示されていますので、インストールはされている模様です。実際、コードの実行に支障はありませんでした。ただ、google-colab 1.0.0 と不整合を起こしているので、Pandas のアップデートはやめておく方がよいのかもしれません。

> また、.copy を付けると、以下のエラーが出ます。
> TypeError: 'method' object is not subscriptable

copy() メソッドについて、
df1 = df.iloc[:, [1]].copy()
としていますでしょうか？

[tamtam2020]

どうもありがとうございます。おっしゃられる通りで、copy の後の () が抜けていました。入れると、うまく行きました。

[bsdfan]

pandas のバージョンはあまり関係なく、df1 = df.iloc[:, [1]].copy() が正しい対処です。
df1 = df.iloc[:, [1]]
df1['SMA1'] = ...
は、プログラムの処理系にとっては、
df.iloc[:, [1]]['SMA1'] = ...
をやろうとしているように見えなくもないため、SettingWithCopyWarning が発生しています。
データフレームから別のデータフレームを切り出したときは注意が必要です。(https://qiita.com/FukuharaYohei/items/b3aa7113d08858676910 とか読むと理解が深まるかと)

[tamtam2020]

どうもありがとうございます。
.copy()
で対応します。
ご紹介いただいたサイト、またそこからリンクが張られている徹底詳解3部作とか、一応見てみたのですが、ビューとコピーの違いもよくわからず、最初に質問した際の2種類のやり方で、片方が警告が出て、片方は出ないのがなぜなのか、未だによくわかりません。
しかし、とりあえず、前に進み、また必要があれば、振り返ってみたいと思います。
（警告は、対処療法ではなく、しっかりと理解して回避せよ、とあちこちに書いてはありますが、、、）

Answer 1

「python 3.11.8，pandas 2.2.1」でしか確かめていませんが，「Copy-on-Write(CoW) モード」を有効にすると今回の警告（SettingWithCopyWarning）はなくなりました。有効にするには下記の 1行を追加ください。

pd.options.mode.copy_on_write = True

なお，この Copy-on-Write(CoW) モード は，pandas 3.0 からデフォルトになり，pandas 2.2 でも有効にすることが推奨されています。

import pandas as pd

pd.options.mode.copy_on_write = True

df = pd.DataFrame({'a': [0, 1, 2], 'b': [3, 4, 5],
                   'c': [6, 7, 8]}, index=['x', 'y', 'z'])
print(df)
#    a  b  c
# x  0  3  6
# y  1  4  7
# z  2  5  8
print()
df1 = df.iloc[:, [1]]

print(df1)
#    b
# x  3
# y  4
# z  5
print()

# rollingで移動平均を作る
df1['SMA1'] = df1['b'].rolling(2).mean()

print(df1)
#    b  SMA1
# x  3   NaN
# y  4   3.5
# z  5   4.5

Comments

[tamtam2020]

ありがとうございます。うまく行きました。そういう方法もあるんですね。勉強になりました。