csvファイルのTRUE, FALSEの文字列を数字1, 0に変換したい

Question

csvファイルが数百MBあり、開くことができないので、下記のように、pythonで一気に文字列を数字に置換したいと考えています。
TRUE --> 1
FALSE --> 0
列は固定されておらず、上記の文字列が点在している可能性があります。

import pandas as pd
#import numpy as np

# データ読み込み
df = pd.read_csv("test.csv", index_col=0)
df2 = df.map({'FALSE':0, 'TRUE':1})

下記のようなエラーが出ます。
AttributeError: 'DataFrame' object has no attribute 'map'
解決策について、ご教示いただければ幸いです。
よろしくお願いいたします。

Answer 1

高速に処理したいなら

(df=='TRUE').astype(int)

という方法もあります

Comments

[hayataka2049]

この場合、TRUEとFALSE以外の文字列があると駄目ですかね

[magichan]

はい、そうです。2値限定です。

[MOSMOS2]

そうですね。確かにTRUE, FALSE以外の文字が含まれている可能性もあります。ですが大変参考になります。

Answer 2

Pythonなど不要。そう、シェル芸ならね！

$ cat test.csv|sed 's/TRUE/1/g;s/FALSE/0/g' > new.csv

Comments

[MOSMOS2]

なるほどですね。ありがとうございます。

Answer 3

エラーメッセージの通り，DataFrameにはmapメソッドは存在しません。applyメソッドを使う方法などもありますが、今回はreplaceメソッドで用を達するでしょう。

df.replace({'FALSE':0, 'TRUE':1})

参考：
pandas.DataFrame, Seriesの要素の値を置換するreplace | note.nkmk.me

---

実際問題としてはDataFrameに変換して処理するのはさほど高速な方法ではない可能性が高いので、遅すぎるなら他の方法を検討した方が良いです。

• シェル芸などで頑張る
• 単にまるごと文字列としてreadして正規表現などで置換

では駄目ですか？

Comments

[MOSMOS2]

Pythonでずっと工程を流していくので、dataframeにこだわりましたが、読み込みが遅いので、シェルをかましてもよかったかもしれません。甲乙つけがたかったですが、即回答いただいたことと、シンプルで一発でできたので、こちらをベストアンサーにさせていただきました。ありがとうございました。