Q&A
そのファイルの文字コードは何なのかしらべてみては
前提
PytTorchを用いてdatasetの作成で、csvファイルを取り込もうとしていますが、取り込む過程でUnicodeDecodeErrorが生じてしまいました。
実現したいこと
CSVファイルのテキストデータを取り込みたいです。
発生している問題・エラーメッセージ
UnicodeDecodeError: 'cp932' codec can't decode byte 0x85 in position 586: illegal multibyte sequence
該当のソースコード
python(PyTorch)
1 2ソースコード 3 def __getitem__(self,idx): 4 image= pd.read_csv(self.csv_file.iloc[index, 50],encoding='cp932') 6 mask=pd.read_cscv(self.csv_file.iloc[index, 1],encoding='cp932')
試したこと
tryしたことして最初ただ読み込もうとするとutf-8のエラーだったためencordでshift_jisやcp932、などに変換したのですが解決できませんでした。
補足情報（FW/ツールのバージョンなど）
Mac book、Python 3.8.13
> utf-8のエラーだったためencordでshift_jisやcp932、などに変換したのですが解決できませんでした。
適当に指定しても駄目かと思いますが。文字コードを確認出来ませんか？
ありがとうございます。ここでの文字コードの確認というのはcsvファイルの中身の文字コードを確認するということでお間違い無いでしょうか？
違っていたらすみません。ご教授いただければ幸いです。
そうです。fileコマンドとかテキストエディタでも確認できるかと思います。
あなたの回答
tips
プレビュー
