Python Pandas 特定の文字列を指定してこれを欠損値として扱いたい。

前提・実現したいこと

文字列object"."で入れられた欠損値をpandas上で欠損値として扱いたい。

発生している問題

以下のようなデータフレーム

python
1a b c d
21 2 3 4
35 6 7 8
4. 2 4 3
52 . 9 1

のように欠損値が"."で記録されているデータフレームがあってこれを

Python
1a b c d
21 2 3 4
35 6 7 8
4null 2 4 3
52 null 9 1

としたい。

試したこと

色々調べてみたけど一気にデータフレームとして値を変えてしまうメソッドが思いつかないです。。。
csvを作るときにおそらくStataという古いソフトウェアから出力されたものをダウンロードしたからかもしれないです。僕はStataユーザーではないが本の付録としてデータセットを使っていて、その本はStata向けです。

補足情報（FW/ツールのバージョンなど）

最新のPythonをAnacondaで使ってます。

行動規範の内容に同意します

回答2件

ベストアンサー

pandas.read_csvを使っている場合は、na_values引数を用いることでよしなにやってくれます。

python
1import io
2import pandas as pd
3
4txt = """
5a b c d
61 2 3 4
75 6 7 8
8. 2 4 3
92 . 9 1
10"""
11
12df = pd.read_csv(io.StringIO(txt), sep=" ", na_values=".")
13print(df)
14""" =>
15     a    b  c  d
160  1.0  2.0  3  4
171  5.0  6.0  7  8
182  NaN  2.0  4  3
193  2.0  NaN  9  1
20"""

pandas.read_csv — pandas 0.25.1 documentation

読み込んだ後に変換したい場合は、pandas.DataFrame.replaceを用いると良いでしょう。ただし、置き換えた後に型変換をしないといけないと思います。

python
1import io
2import numpy as np
3import pandas as pd
4
5txt = """
6a b c d
71 2 3 4
85 6 7 8
9. 2 4 3
102 . 9 1
11"""
12
13df = pd.read_csv(io.StringIO(txt), sep=" ")
14df.replace(".", np.nan, inplace=True)
15df = df.astype({"a":np.float64, "b":np.float64})
16print(df)
17""" =>
18     a    b  c  d
190  1.0  2.0  3  4
201  5.0  6.0  7  8
212  NaN  2.0  4  3
223  2.0  NaN  9  1
23"""
24