質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.80%

Python, CIFAR-10のデータを読み込む方法

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 2,188

3naoki

score 12

以下のサイトで提供されているカラー画像8000万枚のデータセットCIFAR-10を読み込みたいのですがいくつか他のサイトにあるものを試しているのですがどれもうまくいかず、ご存知の方いらしましたら教えて頂きたいです。

データ元
[https://www.cs.toronto.edu/~kriz/cifar.html]

以下のコードだと
No such file or directoryとエラーが出てしまったのですがフォルダの位置が問題なのでしょうか?
私はこのコードfileとデータをまとめたフォルダを同じフォルダに入れた状態なのですが、何が問題なのかアドバイス頂けると幸いです。
以下読み込むコード

import pickle
import numpy as np
import os

def unpickle(file):
    fo = open(file, 'rb')
    dict = cPickle.load(fo)
    fo.close()
    return dict

def conv_data2image(data):
    return np.rollaxis(data.reshape((3,32,32)),0,3)

def get_cifar10(folder):
    tr_data = np.empty((0,32*32*3))
    tr_labels = np.empty(1)
    '''
    32x32x3
    '''
    for i in range(1,6):
        fname = os.path.join(folder, "%s%d" % ("data_batch_", i))
        data_dict = unpickle(fname)
        if i == 1:
            tr_data = data_dict['data']
            tr_labels = data_dict['labels']
        else:
            tr_data = np.vstack((tr_data, data_dict['data']))
            tr_labels = np.hstack((tr_labels, data_dict['labels']))

    data_dict = unpickle(os.path.join(folder, 'test_batch'))
    te_data = data_dict['data']
    te_labels = np.array(data_dict['labels'])

    bm = unpickle(os.path.join(folder, 'batches.meta'))
    label_names = bm['label_names']
    return tr_data, tr_labels, te_data, te_labels, label_names

def get_cifar100(folder):
    train_fname = os.path.join(folder,'train')
    test_fname  = os.path.join(folder,'test')
    data_dict = unpickle(train_fname)
    train_data = data_dict['data']
    train_fine_labels = data_dict['fine_labels']
    train_coarse_labels = data_dict['coarse_labels']

    data_dict = unpickle(test_fname)
    test_data = data_dict['data']
    test_fine_labels = data_dict['fine_labels']
    test_coarse_labels = data_dict['coarse_labels']

    bm = unpickle(os.path.join(folder, 'meta'))
    clabel_names = bm['coarse_label_names']
    flabel_names = bm['fine_label_names']

    return train_data, np.array(train_coarse_labels), np.array(train_fine_labels), test_data, np.array(test_coarse_labels), np.array(test_fine_labels), clabel_names, flabel_names

if __name__ == '__main__':
    datapath = "./data/cifar-10-batches-py"
    datapath2 = "./data/cifar-100-python"

    tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath)
    tr_data100, tr_clabels100, tr_flabels100, te_data100, te_clabels100, te_flabels100, clabel_names100, flabel_names100 = get_cifar100(datapath2)

以下エラー
C:\…\AppData\Local\Programs\Python\Python35\python.exe: can't open file 'C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py': [Errno 2] No such file or directory

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • can110

    2017/02/03 13:43

    エラー中、個人名は削除したほうがよいでしょう。また一部だけではなく完全なエラー文字列を提示ください

    キャンセル

  • 3naoki

    2017/02/03 21:48

    ご指摘ありがとうございます。変更させて頂きました。

    キャンセル

回答 1

checkベストアンサー

0

ディレクトリ構成が正しいか確認してください。
ソースコードでは以下の構成として処理しているようです。

./
│  input_cifar.py : 提示された.pyコード?
│
└─data : このフォルダはあるか?
    └─cifar-10-batches-py
            data_batch_1
             :
            test_batch

また、エラーは以下のようにTraceback全文を提示してください。
どの場所でエラーが発生したかがわかります。

IOError                                   Traceback (most recent call last)
<ipython-input-2-4b72f5f672a6> in <module>()
     60     datapath2 = "./data/cifar-100-python"
     61 
---> 62     tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath)

<ipython-input-2-4b72f5f672a6> in get_cifar10(folder)
     21     for i in range(1,6):
     22         fname = os.path.join(folder, "%s%d" % ("data_batch_", i))
---> 23         data_dict = unpickle(fname)
     24         if i == 1:
     25             tr_data = data_dict['data']

<ipython-input-2-4b72f5f672a6> in unpickle(file)
      4 
      5 def unpickle(file):
----> 6     fo = open(file, 'rb')
      7     #dict = cPickle.load(fo)
      8     dict = pickle.load(fo)

IOError: [Errno 2] No such file or directory: './data/cifar-10-batches-py\\data_batch_1'

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/02/05 22:26

    ご回答頂きありがとうございます。
    ディレクトリ構造に誤りがありました、ありがとうございます。
    ただ構造修正後、以下のエラーが出てしまいました。

    "C:\…\AppData\Local\Programs\Python\Python35\python.exe" "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py"
    Traceback (most recent call last):
    File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 41, in <module>
    tr_data10, tr_labels10, te_data10, te_labels10, label_names10 = get_cifar10(datapath)
    File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 22, in get_cifar10
    data_dict = unpickle(fname)
    File "C:/…/PycharmProjects/Convolutional Neural Networks for Visual Recognition/input_cifar.py", line 7, in unpickle
    dict = pickle.load(fo)
    UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6: ordinal not in range(128)

    Process finished with exit code 1

    キャンセル

  • 2017/02/06 09:33

    以下によるとpickleによって作成されたファイルは、バージョン互換性がない場合があるようです。(ファイルによる)
    Python: オブジェクトを漬物 (Pickle) にする
    http://blog.amedama.jp/entry/2015/12/05/132520
    データファイルの中身を確認していないので推測になりますが、2.7では利用できないと思われます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.80%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る