Python 複数CSV結合時に発生したUnicodeDecodeErrorの解消について

Question

前提・実現したいこと

同じフォルダ内に格納している複数のCSVを結合させたい。

発生している問題・エラーメッセージ

しかし、以下のようなエラーメッセージが出ています。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 0: invalid start byte

該当のソースコード

以下のソースコードで発生しました。
おそらく、どこかにencoding='SHIFT-JIS'やencoding='cp932'を追加することで
解消できるのではと思ったのですが、現状、それでもエラーが発生したままという状況です。

import json,csv
import pandas as pd
import glob

csv_files = glob.glob('*.csv')
list = []

for f in csv_files:
    list.append(pd.read_csv(f))
df = pd.concat(list)

df.to_csv("total.csv")


以上、解消する方法など、アドバイスいただけると助かります。よろしくお願いします。

Comments

[Lhankor_Mhy]

エラーが発生している行はどこですか？
また、csvファイルの文字コードはなんですか？

[qsuke]

確認いただき、ありがとうございます。
分かりにくい質問内容ですみません。。

エラーの発生は以下のようになっていたので、7行目のlist.appendの部分でしょうか。
----> 7 list.append(pd.read_csv(f))

また、csvファイルの文字コードはSHIFT-JISのようです。

Answer 1

以下のように読み込み時に文字コードを指定する事で解消されるかと思われます。

pd.read_csv(f, encoding='cp932')

Comments

[qsuke]

ありがとうございます。
エラーを解消でき、無事読み込むことができました！

僕が試していたときは挿入する場所が間違っていたようで、以下の7行目の箇所に「encoding='cp932'」付け足すことでいけました。
list.append(pd.read_csv(f, encoding='cp932'))