CSVファイルを読み込むことが出来ない

Question

よろしくお願い致します。

Web上からZIPファイルをダウンロード。解凍したCSVファイルをpythonで読み込みたいのですがうまくいきません。。

まずは、文字エンコードをshift-jisでやってみました。
df = pd.read_csv(filepath_or_buffer=test.csv , encoding="shift-jis" , sep="," )

エラーが出てしまいます。
UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xff in position 0: illegal multibyte sequence

その後も調べた限りの文字エンコードで行ってみたのですがダメでした。。
encoding="cp932"
encoding="utf-8"

見よう見まねでcodecsを使ってみました↓

with codecs.open("test.csv", "r", "Shift-JIS", "ignore") as file:
df = pd.read_table(file, delimiter=",")

やはりエラーが出てしまいます。
ParserError: Error tokenizing data. C error: Expected 1 fields in line 10, saw 2

非常にわかりにくい文章で申し訳御座いません。
CSVファイルを読み込む良い方法があればご教示頂けないでしょうか。
当方windows10を使用しています。

よろしくお願い致します。

Answer 1

UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xff in position 0: illegal multibyte sequenceよりBOM付きのファイルのようです。
先頭が0xFFなので~~codecs.open(でcodecs.BOM_UTF16_LEまたはcodecs.BOM_UTF32_LEを指定してみてください。~~
面倒くさいですが以下のようなコードでstr型に変換したうえで読み込んでください。
参考：
codecs --- codec レジストリと基底クラス
Python - Decode UTF-16 file with BOM

import codecs
from io import StringIO
import pandas as pd

# バイナリで読込、BOMを除去して「UTF-16LE」としてデコード
with open('VC.csv', 'rb') as f:
    data = f.read()
    text = data[len(codecs.BOM_UTF16_LE):].decode('utf-16le')

print(text)
#id,str
#1,あいう
#2,かきく

# str型からストリームオブジェクトを作成して読込
df = pd.read_csv(StringIO(text))
print(df)
#   id  str
#0   1  あいう
#1   2  かきく

VC.csv( UTF-16LE with BOM)

id,str
1,あいう
2,かきく

Comments

[ForestBamboo]

ご回答いただきましてありがとうございます。
下記、実行してみました。（意図されているものと違ったらごめんなさい。。）

with codecs.open("VC.csv", "r", "codecs.BOM_UTF16_LE") as file:
df = pd.read_table(file, delimiter=",")

結果↓
LookupError: unknown encoding: codecs.BOM_UTF16_LE

codecs.BOM_UTF32_LEの場合も同じ結果となってしまいました。
すみません、、もっと勉強させていただきます。

[8524ba23]

回答修正しました。codecs.openではcodecs.BOM_UTF16_LEを指定できないようです。
面倒くさいですが修正コードで大丈夫だと思います。
（なぜ'utf16-le-sig'がないんだろう）

[ForestBamboo]

ご返答頂きましてありがとうございます。
ご教示頂きまして方法で、無事ファイルを読み込むことが出来ました。
今回、質問させていただいた事に加えて、もう一つ勉強になったこと（発見）がありました！

いつもjupyter labでプログラムを書いており、該当するcsvファイルをあらかじめアップロードしていたのですが、jyupyter　labだとご教示頂いたコードでデータの取り込みができませんでした（printしても空欄でした）もしかしてと思い、VScodeを開いて同じプログラムを書いたところ、csvファイルを取り込むことが出来ました。理由はわかりませんが、一つの対処法として覚えておこうと思いました。

拙い文章で申し訳ございません。
ありがとうございました。これからも勉強を続けていこうと思います。

Answer 2

その解凍したというファイルを、文字コードがわかるテキストエディタで開いて、なんの文字コードなのかを調べてみよう

そして、その文字コードでエンコード指定すればよろしい

Comments

[ForestBamboo]

ご連絡ありがとうございます。VScodeで実行してみたところ、UTF-16LEと表示がされていました。早速、下記コードで実施をしてみました。
df = pd.read_csv(filepath_or_buffer="test.csv" , encoding="UTF-16LE" , sep=",")

結果↓
EmptyDataError: No columns to parse from file

ファイルは空ではないのですが、なぜか上記のようなエラーが出てしまいました。
すみません、勉強します。