macでの文字コードの確認方法

Question

超初心者です。

pythonの勉強を初めたところなのですが、
csvからデータ（データフレーム？）を読み込む際にshitf-jisかUTF-8かによって例えば、
df=pd.read_csv("AAA.csv",encoding="shift-jis")
か
df=pd.read_csv("AAA.csv")　※UTF-8
とすると説明があるのですが、、、shift-jisかUTF-8はどのように見極めればよいのでしょうか・・・。

プログラミング以前のレベルの低い話とは思いますが、教えていただければ幸いです。

Answer 1

参考情報

• Macでファイルの文字コードを調べる

https://qiita.com/pugiemonn/items/106749351991037fb606

• Macでファイルの文字コードの確認 / 変更の仕方

https://qiita.com/Doppon/items/c7aa2879946d0937881b

• 【Mac,Windows】ファイル名が文字化けした時の修復,対処法

https://koshishirai.com/mac-windows-filename-garbled/

Answer 2

Macで普通にファイルを作ると、UTF-8でしょう。
file ファイル名で確認できます。

どこかから受け取ったファイルとか、Windowsからコピーしたファイルだと、Shift_JISの可能性があります。fileコマンドではおそらくShift_JISとは表示されないと思いますが、少なくともUTF-8とは表示されないので、それで区別付きます。

Comments

[otn]

utf-8以外も判断して欲しい場合は、nkf コマンドをインストールしましょう。
nkf -g ファイル名
で調べられます。インストール方法は検索しましょう。

[kkyy0817]

ありがとうございます！！

Answer 3

文字コード判定の話をしだすとそれはもう一冊の本がかけそうなくらい奥の深い話です。なのでここはライブラリに頼りましょう。
Usage — chardet 3.0.4 documentation

もしくは雑にやるならこんなのでも良いかもしれません。

try:
    df=pd.read_csv("AAA.csv")
except UnicodeDecodeError:
    df=pd.read_csv("AAA.csv",encoding="shift-jis")

Comments

[kkyy0817]

ありがとうございます！！確かに、それでも十分な気がします！

Answer 4

shift-jisかUTF-8はどのように見極めればよいのでしょうか・・・。

お使いのエディタにもよりますが、そのテキストファイルをエディタで開くと、たいていはステータスバーに書いてあります。

Visual Studio Code

デフォルトだと、文字コードの自動推定は無効になってるので、設定で ON にしておく必要があります。

VSCodeで開くファイルの文字コードを自動判別する

VS Code は Mac でも使えます。

Visual Studio Code - Code Editing. Redefined

Comments

[kkyy0817]

ありがとうございます！
私が使っているものだと表示がされていませんでした。。（設定変えると出るかもしれません）