jupyter notebook上でMNISTデータを読み込みたい

Question

###前提・実現したいこと
jupyter notebookを利用しているものです。
MNISTデータを読み込もうとしているのですが、できません。
同じような質問が有り、「ライブラリとディレクトリを同じにする」との回答があるのですが、
理解ができませんでした。
具体的にはどこの(?)のファイルと同じものにすれば良いのでしょうか

###発生している問題・エラーメッセージ

import sys,os
sys.path.append(os.pardir)
from dataset.mnist import load_mnist

(x_train, t_train),(x_train, t_test) = \
    load_mnist(flatten=True, normalize=False)
    
print(x_train.shape)
print(t_train.shape)
print(x_test.shape)
print(t_test.shape)

###該当のソースコード

ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-3-1c315c6a2d7a> in <module>()
      1 import sys,os
      2 sys.path.append(os.pardir)
----> 3 from dataset.mnist import load_mnist
      4 
      5 (x_train, t_train),(x_train, t_test) =     load_mnist(flatten=True, normalize=False)

ModuleNotFoundError: No module named 'dataset'

###試したこと
添付した図のようにMNISTの入っているファイル(左)と読み込むファイル(右)を
同じディレクトリに入れた(と思います・・・・)

###補足情報(言語/FW/ツール等のバージョンなど)
Ubuntu16.04
jupyter notebookを使用

Answer 1

sys.path.append(os.pardir)ではモジュール探索パスを追加していますが、～/ch03/neuralnet_mnist.pyなどを直接実行することが前提です。

以下のいずれかの方法で探索パスを追加することでnotebook(.ipynb)上でも利用できるようになります。

※パスが/home/hoge/jupyter_notebook/deep-learning-from-scratch-masterの場合

方法１：環境変数PYTHONPATHにパスを追加する

~/.bashrcに以下を追加する。

export PYTHONPATH="/home/hoge/jupyter_notebook/deep-learning-from-scratch-master:$PYTHONPATH"

方法２：sys.path.appendで追加する

import os,sys
sys.path.append(r'/home/hoge/jupyter_notebook/deep-learning-from-scratch-master')
from dataset.mnist import load_mnist
# 略

方法１のほうが、notebook(.ipynb)の配置場所を気にしなくてよいので、より便利だと思います。

参考：Pythonで他のディレクトリからプログラムをimportするやり方

Comments

[daisuke_factex]

can110様、アンサーありがとうございます。
方法２、の方では実行してみたところ正常に動くようになりました！ありがとうございます！

贅沢なお願いなのですが、方法１でも動かしてみたくなり、
.bashrcがログイン後に別のシェルにした時の読み込む設定ファイル、とまではわかったのですが、

'''
cd /home/hoge/jupyter_notebook/deep-learning-from-scratch-master
'''
の後に、
'''
export PYTHONPATH="/home/hoge/jupyter_notebook/deep-learning-from-scratch-master:$PYTHONPATH"
'''
と打てばよいのでしょうか・・・？(無知で申し訳ないです)

[can110]

ちょっと手順が分かりづらかったですね。
ホームディレクトリ「~/」にある「.bashrc」という設定ファイルをテキストエディタで開き「export ～」という行を追加するということです。
linux操作に慣れていない場合は、方法２でもよいかと思います。

[daisuke_factex]

.bashrcなどの知識を入れてから実行しないと大変なことになりそうなので、
方法２でしばらくはやっていこうと思います。ありがとうございました！

Answer 2

質問から時間が相当立っていますが，，，，
自分はゼロから始めるdeep learningを勉強していて，同様の問題にぶつかりました．

自分の場合は，pip list内(pip listで確認可能)にdatasetファイルが既に存在していたので,
それと今回のサンプルデータを差別化するために，datasetのファイル名を変更⇒ディレクトリを合わせる⇒インポートしたところ，正常に動作しました．

初心者なので，このようなことしかできないのですが,,,,

Answer 3

「ライブラリとディレクトリを同じにする」

というのは

deep-learning-from-scratch ディレクトリ以下にある、common や dataset という名前のディレクトリと、ノートブック(.ipynb)が保存されているディレクトリを同じにするという事かと思います。

ですが、単にノートブック上でmnistのデータを読みたいということであれば、コンソール上で、datasetディレクトリに以下にある mnist.py を実行すると作成される mnist.pkl ファイルをノートブック(.ipynb)が保存されているディレクトリ上にコピーし、ノートブック上で

import pickle
with open('mnist.pkl','r') as f:
    dataset = pickle.load(f)

として読み込めばよいのではないでしょうか。

Comments

[daisuke_factex]

回答ありがとうございます,

今、
’’’
import pickle
with open('mnist.py','r') as f:
dataset = pickle.load(f)

import sys,os
from dataset.mnist import load_mnist

(x_train, t_train),(x_test, t_test) = \
load_mnist(flatten=True, normalize=False)

print(x_train.shape)
print(t_train.shape)
print(x_test.shape)
print(t_test.shape)
’’’
で実行したところ、

’’’
---------------------------------------------------------------------------
FileNotFoundError Traceback (most recent call last)
<ipython-input-1-59737f593dbd> in <module>()
2
3 import pickle
----> 4 with open('mnist.py','r') as f:
5 dataset = pickle.load(f)
6

FileNotFoundError: [Errno 2] No such file or directory: 'mnist.py'
’’’
とエラーが出てきてしまいました・・・。

[magichan]

申し訳ない
記述ミスしておりました。

open("mnist.py","r")
ではなくて
open("mnist.pkl","r")
ですね。

これをloadした dataset には既に mnistデータが辞書型で格納されておりますので、それ以降の
from dataset import load_mnist
と、次行の
load_mnist()の実行
は不要です