Pandasを使ってcsvファイルを読み込んでprint()で表示しようとしています。
csvファイルの中身はロシア語 (encoding="utf-8-sig")です。

エラー文

KeyError: ('Ру', 'Ном')

開発環境

Python 3.6.5
Atom
Windows7

read_csv後のprint()でKeyError

問題のコード

python
1import pandas as pd
2csv_input = pd.read_csv(filepath_or_buffer= r'C:\Users\ayumusato\Documents\ProgrammingStudy\coding\26and1.csv', encoding="utf-8-sig", sep=",")
3print(csv_input.size)
4print(csv_input[["Ру", "Ном"]])

csvファイルの中身

望む出力結果

['Ру', 'Ном']
['это', 44]
['как', 44]
['солдат', 32]
...
...

試したこと

print(csv_input[["Ру"], ["Ном"]])と書いてみる。
ちなみに、このcsvファイルをメモ帳で開くとこのように表示されます。

csvファイルなら普通это,44...のようにコンマ区切りで表示されると思うのですが。。。
よろしくお願いします<(_ _)>

できましたー！

csvファイルの整形後、csvファイルの文字コードをSHIFT-JISに指定、encoding="shift_jis"へ変更
ロシア語なのにshift_jisでOKなのはなぜ笑

python
1import pandas as pd
2csv_input = pd.read_csv(filepath_or_buffer= r'C:\Users\ayumusato\Documents\ProgrammingStudy\coding\26and1.csv', encoding="shift_jis", sep=",")
3print(csv_input.columns)
4print(csv_input[["Ру", "Ном"]])

出力結果

Index(['Ру', 'Ном'], dtype='object')
         Ру  Ном
0       это   44
1       как   44
2    солдат   32
3   человек   22
4       нея   21
5      мочь   20
6    пекарь   18
7      друг   18
8  говорить   18
9     такой   18

行動規範の内容に同意します

回答2件

ベストアンサー

追記
うろ覚えですが、以前の質問の中のどこかで、ロシア語を使っているから(UTF-8-sig)にしているとのことでしたが、-sigとは「バイト・オーダー・マーク」、通称「 BOM 」と呼ばれるものです。
これはWindowsのメモ帳などで保存すると付きます。
メモ帳で作ったファイルを別のテキストエディタで開くとUTF8-BOMなどと表示されます。
なのでロシア語だからUTF-8-sigというのは勘違いされてるのではと思いました。
ロシア語でも日本語でもUTF-8はUTF-8のはずです。
Unicodeの「Uni」は、「統一」という意味です。

Python Tips： Python で UTF-8 の BOM ありなしを見分けたい
 文字コードUTF-８とは？　仕組みとコード表
 文字コードをUTF-8 BOMなし(UTF-8N)でファイル保存をする方法

ちなみに、このcsvファイルをメモ帳で開くとこのように表示されます。
csvファイルなら普通это,44...のようにコンマ区切りで表示されると思うのですが。。。

pandasでcsv/tsvファイル読み込み（read_csv, read_table）
詳説Pandasのread_csvとread_table関数の使い方

参考URLの例でもカンマ区切り+改行区切りのcsvファイルから読み込んでいます。
因みにカンマ区切りのみの改行無し1行のcsvファイルからは読み込めません。

カンマ区切り＋改行で作ったサンプルデータ(UTF-8)
test_in.csv

A,B
1,あ
2,い
3,う

Ру,Ном
1,あ
2,い
3,う

コードは質問コードのpathを変更しただけです。
正常動作していますのでコードに問題は無いはずです。

投稿2018/09/25 00:27

編集2018/09/25 03:43

opyon

総合スコア1009

Yukiya025

2018/09/25 02:58

opyon様、ありがとうございます(*≧∀≦) > 正常動作していますのでコードに問題は無いはずです。お墨付きありがとうございます。メモ帳でcsvファイルを開き、余計なタブやダブルクオテーションを削除しました:) それでも`UnicodeDecodeError: 'utf-8' codec can't decode byte 0x84`がでたので、csvファイルの文字コードを疑い、csvファイルの文字コードを`SHIFT-JIS`、`encoding="shift_jis"`に指定してきちんと表示されるようになりました! (ロシア語なのに`SHIFT-JIS`でOKなのはなぜなのか(・_・) 全角っぽいから?)

opyon

2018/09/25 03:20

>メモ帳でcsvファイルを開き、 Windows10などのメモ帳の保存時のデフォルトのファイル形式は、ANSI=SHIFT-JISのはずです。無意識に上書き保存するとANSI=SHIFT-JISになります。最初からUTF-8で開いた場合はUTF-8で保存されます。

Yukiya025

2018/09/25 05:31

> ロシア語でも日本語でもUTF-8はUTF-8のはずです。おお(ﾟДﾟ) とすると、.pyファイルでUTF-8を指定すればよかったんですね f^^; 最初にcsvファイル確認したときUTF-8だったので。。。

opyon

2018/09/25 05:44

追記で書いたように、読み込む元データがメモ帳で作成したファイルだと、UTF-8-sig = UTF-8-BOMになるということです。メモ帳だと保存形式でUTF-8を選択出来ますが、実際にはUTF-8-BOM形式なんです。メモ帳しか使っていないとすごく分かりにくいですよね。一般的に普及してるテキストエディタならUTF-8-BOMも見分けられます。お好みでメモ帳以外のテキストエディタを使うことをオススメします。

行動規範の内容に同意します