Q&A
簡単なサンプルデータを提示してください。
前提・実現したいこと
pandasを用いてデータクリーニングを行なっています。
csvファイルに保存された複数年のデータに対して、ループ処理で全ての年度に関して特定の文字列を含む要素のみをNaNに書き換えたいと考えています。
例えば、クロスセクションデータに「777(a)」という要素が含まれている時、「(a)」という文字列を含むこの要素のみを「NaN」に書き換えたいというものです。(この要素が含まれる行の、他のデータは変更したくありません。)
試したこと
str.contains()を用いて特定の文字列を含む行を抽出することを試みました。
そこからどうデータの書き換えに繋げれば良いのかわかりませんでした。
要領の得ない質問で恐縮ですが、なにどぞよろしくお願いします。
*追記
サンプルデータとして上のようなものをご用意しました。
やりたいことはAさんの身長が「165(a)」、Bさんの体重のデータが「60(a)」となっているのを、それぞれ「NaN」に変えたいというものです。
また上記2年分のデータがあったとして、複数年のデータをまとめてループ処理で「(a)」という文字列を含む要素のみをを「NaN」に変えたいと考えています。
実際のデータは大規模なものなので一つ一つ値を代入する手法が取れません。
また、mask()を用いて第一引数にstr.contains('(a)')などとして'(a)'を含む要素をNaNに置き換えることを試みたのですが上手くいきませんでした。
質問修正依頼をくださった方ありがとうございます。
回答2件
0
Python
1df['身長'] = df['身長'].mask(df['身長'].str.contains('(a)', regex=False)) 2df['体重'] = df['体重'].mask(df['体重'].str.contains('(a)', regex=False))
投稿2019/12/09 00:29
総合スコア15898
0
python
1df=df.replace('(a)', np.nan,regex=True) 2
投稿2019/12/08 05:46
総合スコア1582
ご回答ありがとうございます。
この方法だと「(a)」のみを含む要素は処理されると思うのですが、「165(a)」の要素は処理されないように思えます。
mask()を用いて第一引数をstr.contains('(a)')などとして処理しようと試みたのですが上手くいきませんでした。
実行してみましたか？
自分のデータセットに試したところ上手く処理されませんでした。('NoneType' object has no attribute 'replace'というエラーメッセージが出ました。)
上のサンプルデータに実行したところ適切に処理されました。
csvをデータフレームとして取り込んで、最初の数行を表示してみるとなにかわかるかもしれません。
あなたの回答
tips
プレビュー
