いきなりkey errorが起きるようになってしまった。。。

Question

Jupyter Notebookで購買のデータを分析していました。
試行錯誤しながら進めていたのですが、
作業の途中で突然、
今まで問題なく読み込めていたkeyにerrorが起きるようになり、
pd.to_datetimeやpd.mergeなど、
全ての操作にエラーが起きるようになってしまいました。

何もコードはいじっていないので、
自分でも原因が分かりません。。。

皆様もこういった経験はあるのでしょうか？
これは環境の問題ですか？？？
解決方法が分かる方はいらっしゃいますでしょうか？？？

例えば、

df.keys()

Index(['cst_id', 'date_purchase_c', 'date_purchase_n',** 'yymm_purchase',**
'InsDate', 'dhms_InsDate', 'Trn_Type', 'rev', 'num', 'code', 'Brand',
'MdName', 'TranKey', 'TranLineNo', 'Store_code', 'TerminalNo',
'date_purchase', 'TranNo', 'StoreName', 'St_SalesChannel',
'St_Hierarchy', 'Category_c', 'Item_c', 'Sub_Item_c', 'Category',
'Item', 'Sub_Item', 'Sub_Item_2', 'FY'],
dtype='object')
なのに、

df =pd.to_datetime(df['yymm_purchase'])

###エラーメッセージ

KeyError Traceback (most recent call last)
<ipython-input-56-7d6126cfd80c> in <module>
----> 1 df =pd.to_datetime(df['yymm_purchase'])

~\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\series.py in getitem(self, key)
866 key = com.apply_if_callable(key, self)
867 try:
--> 868 result = self.index.get_value(self, key)
869
870 if not is_scalar(result):

~\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\base.py in get_value(self, series, key)
4373 try:
4374 return self._engine.get_value(s, k,
-> 4375 tz=getattr(series.dtype, 'tz', None))
4376 except KeyError as e1:
4377 if len(self) > 0 and (self.holds_integer() or self.is_boolean()):

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_value()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_value()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/index_class_helper.pxi in pandas._libs.index.Int64Engine._check_type()

KeyError: 'yymm_purchase'

all codes below

import pandas as pd
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
import matplotlib as mpl
import datetime as dt
import seaborn as sns
import io
from dateutil.parser import parse
%precision 3

data = pd.read_csv(rf'G:\共有.csv', engine='python',
                   encoding='cp932', dtype='object') 

df = pd.read_csv(rf'G:\購買履歴', engine='python',
                encoding='cp932', dtype='object')

#取り込んだデータの確認
data.info()
df.keys()
df.head()
data.drop_duplicates() #重複の削除

#chnage values into strings
data['cst'].astype(str)
data['Store'].astype(str)
data['Post'].astype(str)

data = data.drop(['date_n', 'birthday_n'], axis = 1)

#カラムをdatetime型に変換
df =pd.to_datetime(df['date_c'])
s = df.loc(['yymm_purchase'])
df = pd.to_datetime(s)

Comments

[y_waiwai]

該当のコードと、エラーメッセージを提示しましょう。

[Pablito]

例を追加しました。
宜しくお願い致します。

[y_waiwai]

> 皆様もこういった経験はあるのでしょうか？

助けるもなにも、しつもんはなんなんでしょうか。
それを質問にしっかり書きましょう

[Pablito]

解決方法が知りたいです。

Answer 1

具体的にどこがおかしくなったのかはわからないのですが、何らかの形でデータフレームの構造が壊れているのかもしれません。その場合はデータを読み込み直すことで解消するかと。

Comments

[Pablito]

回答ありがとうございます。
一応、pd.read_csvで読み直しもしてみたのですが、
結果は変わりませんでした。
個人的にはAnacondaに原因があると考えているのですが
どうお考えですか？

[hayataka2049]

可能性はあるかもしれませんが、他の可能性を潰すのが先です。
Jupyterを使っているのであれば、カーネルリスタートも試してみてください。

[hayataka2049]

また、可能であればこれに至るまでに実行したコード全文とCSVファイルをテキストエディタで開いた内容（すべての行を含まなくても構いません。先頭10行くらい）をご提示ください。それでこちらで再現するかどうか、まずい操作がないかどうかを確認できます。

[hayataka2049]

＞df =pd.to_datetime(df['yymm_purchase'])
df['yymm_purchase']の結果をdfに代入しているのはおかしいですね。pd.to_datetimeの結果はSeriesで得られますので。このコードを2回実行したら失敗すると思います。質問文の状況との関連は不明です。

[Pablito]

ありがとうございます。
コードをできる限り載せたいと思います。

[Pablito]

import pandas as pd
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
import matplotlib as mpl
import datetime as dt
import seaborn as sns
import io
from dateutil.parser import parse
%precision 3

[Pablito]

df.keys()

[Pablito]

df.head()

[Pablito]

data.drop_duplicates() #重複の削除

[Pablito]

data['cst_id'].astype(str)

[Pablito]

data['Store'].astype(str)

[Pablito]

すいません。
こちらにごちゃごちゃ書いてしまいましたが、
質問本文に追加してので、
そちらを参照ください。
とりあえず、途中でエラーが起きるようになったところまで
書いています。

[hayataka2049]

先のコメントにも同じことを書きましたが、
>df =pd.to_datetime(df['date_c'])
>s = df.loc(['yymm_purchase'])

pd.to_datetimeはdf['date_c']をdatetime型のSeriesにした結果を返します。それをdfに代入しているので、その下の処理がぜんぶ意図しないものになっているのでは？

[Pablito]

例えば
A = cst['date_c']
cst = pd.to_datetime(A)
では動くのに
cst_period = (cst['date_c'] >=dt.datetime(2017,5,29)) & (cst['data_c'] <= dt.datetime(2019,6,2))
でKeyError: 'date_c'
が起きるのはそういった理由からでしょうか？

[hayataka2049]

そういった理由からですね。

[hayataka2049]

きっと、
cst['date_c'] = pd.to_datetime(A)
がお望みの処理でしょう。

[Pablito]

ん～～～～～～
それでも同じエラーが起きてしまいます。。。。
すいません。。。。

[hayataka2049]

最初からやり直す必要があります。それでも駄目なら今のところ思い付かないので、頑張ってください。

[Pablito]

ありがとうございます。。
頑張ります。。

Answer 2

yymm_purchaseというのはindexだと思うので

s = df.loc['yymm_purchase']
df = pd.to_datetime(s)

だと思いますよ。

Comments

[Pablito]

ご回答ありがとうございます。
ご指導通りに書いてみたのですが、
TypeError: unsharable type: 'list'
というエラーが起きてしまいました。。。。
前までは先ほどのコード動いていたので、
原因がよくわかりません。

[Pablito]

KeyError: "None of [Index(['yymm_purchase'], dtype='object')] are in the [index]"

[Pablito]

s = df.loc[['yymm_purchase']]
df = pd.to_datetime(s)

[Pablito]

上のやり方だと↑↑のエラーが起きました。

[退会済みユーザー]

あなたのコードはこうなっていますが、
s = df.loc(['yymm_purchase'])
locは関数ではないので
s = df.loc['yymm_purchase']
こうです。

[退会済みユーザー]

すいません。
あとはわかりません。

Answer 3

なにもしてないのにおかしくなった！
というのはそこらじゅうで聞きますねｗ