質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

Q&A

解決済

1回答

3571閲覧

Python, CIFAR-10のデータを読み込む方法

3naoki

総合スコア12

Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

0グッド

0クリップ

投稿2017/02/03 04:20

編集2017/02/03 12:48

以下のサイトで提供されているカラー画像8000万枚のデータセットCIFAR-10を読み込みたいのですがいくつか他のサイトにあるものを試しているのですがどれもうまくいかず、ご存知の方いらしましたら教えて頂きたいです。

データ元
[https://www.cs.toronto.edu/~kriz/cifar.html]

以下のコードだと
No such file or directoryとエラーが出てしまったのですがフォルダの位置が問題なのでしょうか?
私はこのコードfileとデータをまとめたフォルダを同じフォルダに入れた状態なのですが、何が問題なのかアドバイス頂けると幸いです。
以下読み込むコード

Python2.7.12

1import pickle 2import numpy as np 3import os 4 5def unpickle(file): 6 fo = open(file, 'rb') 7 dict = cPickle.load(fo) 8 fo.close() 9 return dict 10 11def conv_data2image(data): 12 return np.rollaxis(data.reshape((3,32,32)),0,3) 13 14def get_cifar10(folder): 15 tr_data = np.empty((0,32*32*3)) 16 tr_labels = np.empty(1) 17 ''' 18 32x32x3 19 ''' 20 for i in range(1,6): 21 fname = os.path.join(folder, "%s%d" % ("data_batch_", i)) 22 data_dict = unpickle(fname) 23 if i == 1: 24 tr_data = data_dict['data'] 25 tr_labels = data_dict['labels'] 26 else: 27 tr_data = np.vstack((tr_data, data_dict['data'])) 28 tr_labels = np.hstack((tr_labels, data_dict['labels'])) 29 30 data_dict = unpickle(os.path.join(folder, 'test_batch')) 31 te_data = data_dict['data'] 32 te_labels = np.array(data_dict['labels']) 33 34 bm = unpickle(os.path.join(folder, 'batches.meta')) 35 label_names = bm['label_names'] 36 return tr_data, tr_labels, te_data, te_labels, label_names 37 38def get_cifar100(folder): 39 train_fname = os.path.join(folder,'train') 40 test_fname = os.path.join(folder,'test') 41 data_dict = unpickle(train_fname) 42 train_data = data_dict['data'] 43 train_fine_labels = data_dict['fine_labels'] 44 train_coarse_labels = data_dict['coarse_labels'] 45 46 data_dict = unpickle(test_fname) 47 test_data = data_dict['data'] 48 test_fine_labels = data_dict['fine_labels'] 49 test_coarse_labels = data_dict['coarse_labels'] 50 51 bm = unpickle(os.path.join(folder, 'meta')) 52 clabel_names = bm['coarse_label_names'] 53 flabel_names = bm['fine_label_names'] 54 55 return train_data, np.array(train_coarse_labels), np.array(train_fine_labels), test_data, np.array(test_coarse_labels), np.array(test_fine_labels), clabel_names, flabel_names 56 57if __name__ == '__main__': 58 datapath = "./data/cifar-10-batches-py" 59 datapath2 = "./data/cifar-100-python" 60 61 tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath) 62 tr_data100, tr_clabels100, tr_flabels100, te_data100, te_clabels100, te_flabels100, clabel_names100, flabel_names100 = get_cifar100(datapath2)

以下エラー
C:\…\AppData\Local\Programs\Python\Python35\python.exe: can't open file 'C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py': [Errno 2] No such file or directory

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

can110

2017/02/03 04:43

エラー中、個人名は削除したほうがよいでしょう。また一部だけではなく完全なエラー文字列を提示ください
3naoki

2017/02/03 12:48

ご指摘ありがとうございます。変更させて頂きました。
guest

回答1

0

ベストアンサー

ディレクトリ構成が正しいか確認してください。
ソースコードでは以下の構成として処理しているようです。

./ │ input_cifar.py : 提示された.pyコード? │ └─data : このフォルダはあるか? └─cifar-10-batches-py data_batch_1 : test_batch

また、エラーは以下のようにTraceback全文を提示してください。
どの場所でエラーが発生したかがわかります。

IOError Traceback (most recent call last) <ipython-input-2-4b72f5f672a6> in <module>() 60 datapath2 = "./data/cifar-100-python" 61 ---> 62 tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath) <ipython-input-2-4b72f5f672a6> in get_cifar10(folder) 21 for i in range(1,6): 22 fname = os.path.join(folder, "%s%d" % ("data_batch_", i)) ---> 23 data_dict = unpickle(fname) 24 if i == 1: 25 tr_data = data_dict['data'] <ipython-input-2-4b72f5f672a6> in unpickle(file) 4 5 def unpickle(file): ----> 6 fo = open(file, 'rb') 7 #dict = cPickle.load(fo) 8 dict = pickle.load(fo) IOError: [Errno 2] No such file or directory: './data/cifar-10-batches-py\\data_batch_1'

投稿2017/02/05 06:27

can110

総合スコア38234

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

3naoki

2017/02/05 13:26

ご回答頂きありがとうございます。 ディレクトリ構造に誤りがありました、ありがとうございます。 ただ構造修正後、以下のエラーが出てしまいました。 "C:\…\AppData\Local\Programs\Python\Python35\python.exe" "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py" Traceback (most recent call last): File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 41, in <module> tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath) File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 22, in get_cifar10 data_dict = unpickle(fname) File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 7, in unpickle dict = pickle.load(fo) UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6: ordinal not in range(128) Process finished with exit code 1
can110

2017/02/06 00:33

以下によるとpickleによって作成されたファイルは、バージョン互換性がない場合があるようです。(ファイルによる) Python: オブジェクトを漬物 (Pickle) にする http://blog.amedama.jp/entry/2015/12/05/132520 データファイルの中身を確認していないので推測になりますが、2.7では利用できないと思われます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問