Python pandas 空白部を探してすべてNaNで埋めたい

Question

[test.csv]
カテゴリ1，カテゴリ2，
あいう,かきく,
えお,,

を

df = pd.read_csv('test.csv',encoding='shift_jis', dtype=str)

で読み込んで、

df['カテゴリ3'] = pd.Series()
df['カテゴリ4'] = pd.Series()
df['カテゴリ5'] = pd.Series()

と列を追加すると

カテゴリ1,カテゴリ2,カテゴリ3,カテゴリ4,カテゴリ5,
あいう,かきく,
えお,NaN,

となります。

これを

カテゴリ1,カテゴリ2,カテゴリ3,カテゴリ4,カテゴリ5,
あいう,かきく,NaN,NaN,NaN,
えお,NaN,NaN,NaN,NaN,

と空白部を探してすべてNaNで埋めたいのですが
どうすれでできるのでしょうか？

よろしくお願いします。

df.apply(lambda x: np.nan if isinstance( x, str) and (x.isspace() or not x) else x)
なども試してみたのですが結果は何も起きませんでした。

Answer 1

問題点は3個あります。
問題点1 カテゴリ1， の"，"が全角
問題点2 各列の最後の","が余分
問題点3 NaNにしたいというのが、DataFrameを見たときの話なのかcsvファイルにしたと
きなのかが不明。

DataFrameと書き出したcsvの両方でNaNと見えるようにする方法を、誤りを修正したデータを使って、StringIOで入出力した例を示します。

DataFrameの場合、欠損値はNaNと表示されます
これをto_csvでcsvファイルに書き込んだとき、特に指定しなければ欠損値は""となります。
もしもcsvファイルでNaNと表示したい場合は、na_rep="NaN"を指定します。

>>> import pandas as pd
>>> import io
>>>
>>> in_csv = '''カテゴリ1,カテゴリ2
... あいう,かきく
... えお,'''
>>>
>>> with io.StringIO(in_csv) as f:
...     df = pd.read_csv(f)
...
>>> df['カテゴリ3'] = pd.Series()
<stdin>:1: DeprecationWarning: The default dtype for empty Series will be 'object' instead of 'float64' in a future version. Specify a dtype explicitly to silence this warning.
>>> df['カテゴリ4'] = pd.Series()
>>> df['カテゴリ5'] = pd.Series()
>>> print(df)
  カテゴリ1 カテゴリ2  カテゴリ3  カテゴリ4  カテゴリ5
0   あいう   かきく    NaN    NaN    NaN
1    えお   NaN    NaN    NaN    NaN
>>>
>>> with io.StringIO() as f:
...     df.to_csv(f, index=False, na_rep="NaN")
...     out_csv = f.getvalue()
...
>>> print(out_csv)
カテゴリ1,カテゴリ2,カテゴリ3,カテゴリ4,カテゴリ5
あいう,かきく,NaN,NaN,NaN
えお,NaN,NaN,NaN,NaN

Comments

[eqeqe]

ppaulさんいつもありがとうございます！そうでしたね文字列としてのNaNなのか質問わかりにくかったですね＾＾；うまくいきましたありがとうございます!

Answer 2

おはようございます。

問題文確認しました。

csvファイルがよくないように感じました。

カテゴリ1,カテゴリ2
あいう,かきく
えお,

import pandas as pd

df = pd.read_csv('./test.csv')

df['カテゴリ3'] = pd.Series(dtype=str)
df['カテゴリ4'] = pd.Series(dtype=str)
df['カテゴリ5'] = pd.Series(dtype=str)

print(df)

こちらでご確認いただけますか？????‍♂️

Comments

[eqeqe]

KUROROさんおはようございます。
ありがとうございます！無事できました！