〜(波ダッシュ) U+301Cがエクセル上で?になるのを延々と繰り返している

pythonでスクレイピングしてきたデータをcsv形式でエクセルで保存しているのですが、
csvデータをpythonで読取り文字列等の変更作業、再度csv形式で保存を繰り返しています。

〜(波ダッシュ) が?になり、それを直して作業をし、また、〜(波ダッシュ) だけが?になるというのを延々と繰り返しています。直す作業を何回もしています。この作業から解放できないでしょうか？

0x8160(Shift_JIS)～
↑　　↓
0x301C(UTF-8)/U+301C

具体的には、

スクレイピングする
A.to_csv('A.csv')で保存
エクセルで開く
全体的に文字化けする。

エクセルのテキストまたはcsvからデータをインポート
元のファイルをUnicode(UTF-8)指定でデータを読み込む
文字化けが治る。

保存する。
再度エクセルで開くと〜(波ダッシュ) 0x301C(UTF-8)/U+301Cだけが　→　?　に文字化けする。

？を〜（波ダッシュ0x8160(Shift_JIS)）に置き換えて保存する。

pd.read_csv('A.csv',encoding='shift_jis')で読見込み
〜(波ダッシュ)が読み取れる。（?を直さないと〜がpythonで読み取れない）
列や文字の編集作業をして
A.to_csv('B.csv')で保存
エクセルで開く
全体的に文字化けする
以下繰り返し。。。

行動規範の内容に同意します

回答3件

A.to_csv('A.csv',encoding='utf-8-sig')

で治りました。
ただ、多数で作業する場合は、excelが古いバージョンの人がいると
######0xFF5E(UTF-8)の相互互換のある波ダッシュに変える
方がよいかもしれない。（文章の表現性が崩れるデメリット＆面倒）

投稿2021/02/19 17:43

akaunto

総合スコア7

ベストアンサー

to_csvするときにencoding='utf-8-sig'と指定してBOM付きUTF-8として保存してください。
そうすると正しくExcelで開けます。

また、このCSVをExcel上で編集したうえで保存したい場合は「CSV UTF-8 (カンマ区切り) (*.csv)」として保存してください。
動作未検証ですが、たぶんBOMつきのUTF-8で保存できると思います。
なおUTF-8なCSVで保存できるのはExcel2016以上となります。

投稿2021/02/19 08:15

8524ba23

総合スコア38341

akaunto

2021/02/19 17:35

A.to_csv('A.csv',encoding='utf-8-sig') で治りました。csvファイルもエクセルで直接文字化けせずに開くことができました。ただ、そのうまく行ったcsvファイルを、再度pythonで読み込む時は pd.read_csv('A.csv',encoding='utf-8-sig') とスべきなのでしょうか？