python3でpickleを使ってCIFAR１０を読み込むと「UnicodeDecodeError」...
解決済
回答 1
投稿 2016/03/04 12:51
- 評価
- クリップ 0
- VIEW 2,163
ChainerでCIFAR-10の分類をしようと思ったのですが、データを読み込むところでエラーが発生して調べても解決策がわからなかったので質問させていただきます。
http://nonbiri-tereka.hatenablog.com/entry/2015/06/21/220506
http://www.cs.toronto.edu/~kriz/cifar.html
上記のサイトを参考に、このようなコードを実行すると、
import pickle
import numpy as np
def unpickle(file):
fo = open(file, 'rb')
dict = pickle.load(fo)
fo.close()
return dict
X_train = None
y_train = []
for i in range(1,6):
data_dic = unpickle("cifar-10-batches-py/data_batch_{}".format(i))
if X_train == None:
X_train = data_dic['data']
else:
X_train = np.vstack((X_train, data_dic['data']))
y_train += data_dic['labels']
test_data_dic = unpickle("cifar-10-batches-py/test_batch")
x_test = test_data_dic['data']
x_test = x_test.reshape(len(x_test),3,32,32)
y_test = np.array(test_data_dictionary['labels'])
x_train = x_train.reshape((len(x_train),3, 32, 32))
y_train = np.array(y_train)
以下のようなエラーがでます。
In []: %run CIFAR10.py
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
/home/tomoya/CIFAR10.py in <module>()
14
15 for i in range(1,6):
---> 16 data_dic = unpickle("cifar-10-batches-py/data_batch_{}".format(i))
17 if X_train == None:
18 X_train = data_dic['data']
/home/tomoya/CIFAR10.py in unpickle(file)
6 def unpickle(file):
7 fo = open(file, 'rb')
----> 8 dict = pickle.load(fo)
9 fo.close()
10 return dict
UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6: ordinal not in range(128)環境は
・ Ubuntu 14.04
・ python 3.5.1 (Anaconda 2.5.0)
解決策もしくは、他の方法でデータを読み込む方法を教えてください！
よろしくお願いします。
-
気になる質問をクリップする
クリップした質問に回答があった場合に通知・メールを受け取ることができます。
クリップした質問はマイページの「クリップ」タブからいつでも見ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
check解決した方法
+3
import sys
import pickle
import numpy as np
def unpickle(file):
fp = open(file, 'rb')
if sys.version_info.major == 2:
data = pickle.load(fp)
elif sys.version_info.major == 3:
data = pickle.load(fp, encoding='latin-1')
fp.close()
return data
X_train = None
y_train = []
for i in range(1,6):
data_dic = unpickle("cifar-10-batches-py/data_batch_{}".format(i))
if i == 1:
X_train = data_dic['data']
else:
X_train = np.vstack((X_train, data_dic['data']))
y_train += data_dic['labels']
test_data_dic = unpickle("cifar-10-batches-py/test_batch")
X_test = test_data_dic['data']
X_test = X_test.reshape(len(X_test),3,32,32)
y_test = np.array(test_data_dic['labels'])
X_train = X_train.reshape((len(X_train),3, 32, 32))
y_train = np.array(y_train)このように変更したら成功しました！
投稿 2016/03/04 13:00
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
以下のような回答は評価を下げられます
- 間違っている回答
- 質問の回答になっていない投稿
- 不快な投稿
評価を下げる際はその理由をコメントに書き込んでください。
15分調べてもわからないことは、teratailで質問しよう！
91.82%
