質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

1603閲覧

ilocを使用してデータを分割する際、.copy()をつけてもSettingWithCopyWarningが出現します。

masabassii94

総合スコア13

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2020/12/08 13:26

編集2020/12/09 12:52

前提・実現したいこと

Python、統計学初心者の者です。
仕事の関係で、下記のことをPythonで実現したいと考えております。

① あるデータをtrainデータとtestデータに分割する
② trainデータを用いて、GLM(一般化線形モデル)によるポアソン回帰モデルを作成する。
③ 上記のモデルにtestデータを代入し、testデータの実測値とモデルによる予測値を比較する
(交差検証:cross variation)

今回、testデータを1つのみとし、trainデータを残りのすべてとする手法(leave-one-out)を施行したいと考えております。

発生している問題・エラーメッセージ

まず、お弁当の需要予測(https://signate.jp/competitions/24)のデータを用いて、
上記の手法をトライしました。
気温を説明変数、お弁当の販売数を応答変数とするポアソン回帰モデルを基に解析を行います。
Python初心者で思い通りのコードを書くことはできないので、
インターネットからコードのコピペを組み合わせて試行錯誤しました。
(https://tanuhack.com/statsmodels-multiple-lra/ を参考にしました。)

まず、0行目のデータ(2013/11/18のデータ)をtestデータ、残りをtrainデータとしてコードを書きました。
(このコードがうまく動けば、i行目のiをfor構文で回して、すべての行に対してこれを行い、評価する予定です。)
0行目のみをデータを取り出すため、ilocを用いました。

すると、次のようなエラーメッセージが出現します。

C:\Users\xxx\anaconda3\lib\site-packages\ipykernel_launcher.py:29: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy

該当のソースコード

Python

1# 1. 必要なライブラリの読み込み 2import pandas as pd 3import statsmodels.formula.api as smf 4import statsmodels.api as sm 5from matplotlib import pyplot as plt 6 7i = 0 8 9# 2. 使用するデータの読み込み 10df = pd.read_csv("otehon data/trainmoji.csv", encoding="shift-jis") 11 12test = df.iloc[[i]].copy() 13train = df.drop(test.index) 14 15# 3. smf.glmで使うformula(線形予測子)とfamily(確率分布)を設定する 16trainY = train['y'] # 目的変数:y 17 18trainX = train[['temperature']]# 説明変数 19family = sm.families.Poisson() 20trainX = sm.add_constant(trainX) 21 22# 4. 先ほどの設定値を使って一般化線形モデルを作成 23model = sm.GLM(trainY, trainX, family=family) 24 25# 5. 作成したモデルを学習させる 26result = model.fit() 27 28testX = test[['temperature']] # 説明変数 29testX['const'] = 1.0 30 31pred = result.predict(testX) 32test['pred'] = pred 33test

試したこと

インターネットで調べると、
SettingWithCopyWarningのエラーは、データ抽出の際.copy()を使用すると解決するとありましたが、
.copy()をつけても改善しません。

補足情報(FW/ツールのバージョンなど)

trainmoji.csvのスクリーンショットを添付しております。
イメージ説明

kirara0058様のアドバイスを受け修正した解析のスクリーンショットです。
イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

meg_

2020/12/08 13:46

trainmoji.csvのサンプルデータは掲載出来ますか?
guest

回答1

0

ベストアンサー

python

1testX = test[['temperature']] # 説明変数 2testX['const'] = 1.0

SettingWithCopyWarningが出ているのはこの部分で、test[['temperature']]['const']に1.0が代入されています。

もし同じ回避策を取るなら以下のようになります。

python

1testX = test[['temperature']].copy() 2testX['const'] = 1.0

投稿2020/12/08 16:38

kirara0048

総合スコア1399

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

masabassii94

2020/12/09 12:55

ご回答ありがとうございます。 ご指摘いただいた通りに行ったところ、SettingWithCopyWarningは消えましたが、'method' object does not support item assignmentというエラーが出現いたします。 (補足情報にスクリーンショットを掲載いたしました。) これを回避する方法をご存じであれば教えて頂ければ幸甚です。 よろしくお願い申し上げます。 よろしくお願い申し上げます。
kirara0048

2020/12/10 00:35 編集

`.copy()`が`.copy`になっています。
masabassii94

2020/12/12 15:08

誠にありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問