csvファイルをエクセルで開いた際に起きる文字化けをvscode上で直したいです。

Question

前提・実現したいこと

現在pythonでpandasを使ってデータ分析を試みています。そのため、まずは対象データを含むcsvファイルをvscode上で読み込んでみました。しかし、vscode上では文字化けが起こらないにも関わらず、そのcsvファイルをエクセルで開いた際に文字化けが起こります。エクセルのテキストウィザードからutf-8を設定し文字化けを直す方法は把握していますが、vscode上で文字化けを直す方法を教えていただきたいです。

発生している問題・エラーメッセージ

その他のvscode上で行った指示はエクセルにも反映されているのですが、文字化けが発生してしまう理由がわかりません。

試したこと

ネットで調べてみて、pd.read_csv("keywords_Apr07-2020_2019-09-20.csv")の部分に「encoding="utf-8"」を付け足すなどしてみましたが、うまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

macを使っています。また、言語設定は全て英語にしています（これが問題でしょうか）。

Answer 1

vscode上では文字化けが起こらないにも関わらず、そのcsvファイルをエクセルで開いた際に文字化けが起こります。

エクセルで開いたときに文字化けになるのは文字コードの問題です。
csvファイルをrawTrend.to_csv('XXXX.csv', encoding='shift_jis')で保存することで、エクセルで文字化けせずに開くことができるようになります。但し、Pythonコード内でそのファイルを扱う際には文字コードを指定する必要が生じます。
Pythonでcsvファイルを扱うのであれば文字コードはデフォルト(utf-8)をお勧めします。

Comments

[programmm]

ご回答ありがとうございます。すみませんが、文字コードの設定はどこからできますか？ステータスバーに文字コードが表示されていない状態でして。

[meg_]

pandasであればpd.read_csv()やdf.to_csv()のコード中でencodingを指定する、という方法です。

[programmm]

ご返信ありがとうございます。手始めに、

rawTrend = pd.read_csv("keywords_Apr07-2020_2019-09-20.csv")
rawTrend.to_csv('keywords_Apr07-2020_2019-09-20.csv', encoding='shift_jis')

と指定してみたのですが、

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte

と表示されましたが、問題は何でしょうか？

[meg_]

UnicodeDecodeErrorはどっちの行で起きているのでしょうか？

[programmm]

再度1行ずつ起動したところ、2行目のコードに対して
UnicodeEncodeError: 'shift_jis' codec can't encode character '\u5861' in position 14: illegal multibyte sequence
と表示されました。

[meg_]

そうですか。ひとまず対象のcsvファイルは手動で変換してみましょう。
※他の方の回答にあるようにVSCodeでも、他のテキストエディタでも良いかと思います。

[programmm]

ありがとうございます。ご回答ありがとうございました。

Answer 2

UTF-8で書かれたcsvファイルをダブルクリックしてExcelを開いたときに文字化けしないようにしたいということでしょうか。

VSCodeのステータスバー(最下行)に表示された「UTF-8」をクリックし、「エンコード付きで保存」を選択し、「UTF-8 with BOM」を選択して、BOM(バイトオーダーマーク)付きにすればいいのでは。

補足: CSVファイルをダブルクリックしてExcelで開くと文字化けするのは、「エンコーディング情報を与えられていない状態なのでExcelがエンコーディングを(Shift_JISなどに)決め打ちして開くから」です。つまり、CSVファイルをダブルクリックしてExcelで開くこと自体がとても筋の悪い方法です。

対策は、あなたもご存じのように、「Excel側でエンコーディングを指定して読む手順を踏む」ことで、新しいWindows版のExcelだとPower Queryエディター、ちょっと古いやつだとテキストファイルウィザードを使う際に、エンコーディングを明示することです。

(なぜかは知りませんが)「それがいやだ」となると、「UTF-8をBOM付きで保存する」とか「Shift_JISに変換して保存する」といった手段を取ることになります。それぞれ、「他のツールで処理するときにBOMが邪魔になることがある」とか、「Shift_JISには含まれない文字があると保存できない」といった問題があり、できればやりたくない類の処理ですね。

Comments

[programmm]

ご回答ありがとうございます。ステータスバーにutf-8が表示されていないのですが、どのように表示設定できますか？初心者でして、すみません。

[Daregada]

VSCodeの設定画面を表示して「status」で検索し、「Workbench > Status Bar: Visible」の設定を確認してください。チェックすれば表示されます(初期値)。
settings.jsonでは、「"workbench.statusBar.visible": true」です。

[programmm]

ご返信ありがとうございます。確かにチェックマークを押すとステータスバーが表れるのですが、「UTF-8」の文字が表示されません。なぜでしょう。。

[programmm]

「設定 > テキストエディタ > ファイル > エンコーディング」からUTF-8 with BOM　に設定できましたが、文字化けは直りませんでした。

[Daregada]

それは既定のエンコーディングで、今の問題とは関係ない。
「あなたが扱うCSVファイルをBOM付UTF-8で保存する」のが必要な作業。

**CSVファイルをVSCodeで開いて、それをエディターに表示した状態で**
ステータスバーを右クリックして表示されるメニューに「エディターのエンコード」という項目があり、チェックが付いていないなら、付けてみてください。

設定中の画面が出ている状態では、ステータスバーにUTF-8は表示されませんよ。

[programmm]

了解しました。ご回答ありがとうございます。