python pandas to_csv:エンコーディングを指定し、整合しない文字は無視したい

Question

環境：win10,python3.6

初学者です。pandasを用いてデータフレームをshift_jisx0213のエンコーディングでCSVファイルに出力したいのですが、デコードできぬ文字があるらしく以下のようなエラーとなります。

UnicodeEncodeError: 'shift_jisx0213' codec can't encode character '\u9ad9' in position 3: illegal multibyte sequence

事情により、どうしてもこの文字コードで出力したいのですが、何かいい方法はないでしょうか。教えて下さると幸いです。

参考リンク：この類の問題はデータの読み込みの際に直面したことがありまして、codecsモジュールを用いて対処したことがあります。書き出しの際も同様の方法がないか探したのですが、見当たりませんでした。

Answer 1

codecsモジュールを使うとignoreにて整合しない文字を無視して出力できます。

import pandas as pd
import codecs
df = pd.DataFrame({'col':['髙橋','abc']})
with codecs.open('ret.csv', 'w', 'shift_jisx0213', 'ignore') as f:
    df.to_csv(f)

ret.csv

col
橋
abc

Comments

[ak_miyamoto]

なるほど！「open」という字面で勘違いをしていましたが、このメソッドは出力の際にも使えるんですね！ありがとうございます。

[8524ba23]

ですね～
to_csvの第一引数はパス名だけではなくファイルオブジェクトも受け入れます。
柔軟性がありますね。

[ak_miyamoto]

ちなみになのですが、”ignore”のかわりに、何かデコードできない文字を記号で置き換える指示を出すことは出来ますでしょうか？

[8524ba23]

`replace`で「?」に置換されます。詳細は以下を参照ください。
[7.2. codecs — codec レジストリと基底クラス](https://docs.python.jp/3/library/codecs.html)

[ak_miyamoto]

あっ、すみません。ありがとうございました!!