Python での自作パッケージのインポート

Question

環境

• Ubuntu 19.10
• python 3.7.3

生じている問題

別フォルダに分けた関数をインポートしようとすると ModuleNotFoundError が出てしまいます。

今、私が作業しているディレクトリは下のようになっています。

UNet
├── README.md
├── __init__.py
├── model.py
├── prediction.py
├── prepare_data.py
├── tests
│   ├── test_model.py
│   ├── test_prepare_data.py
│   └── test_train.py
└── train.py

pythonを実行しているのは UNet の親ディレクトリからで、python ./UNet/train.py というように呼び出しています。ここで、train.py の中では、

import argparse
import tensorflow as tf
import tensorflow.keras.backend as K
from UNet import model  # エラー
from UNet.prepare_data import data_gen  # エラー
import os

のように model.py と prepare_data.py をインポートしていますがここで ModuleNotFoundError: No module named "UNet" というエラーが出てしまいます。

どうすれば正常にインポートできるでしょうか？よろしくお願いします。

Answer 1

よくある質問です。
(しかし、結構分かりづらい話です)

過去の自分の回答です。

• 【python3】packageの使い方について
• flaskでimportエラー

起動スクリプトの下にパッケージ(ディレクトリ)を作り、それ以外のスクリプトはそのパッケージ以下に配置し、お互いを相対importでインポートするのが好ましいと思います。

今回の場合は、例えば「train.py」の中身が

import argparse
import tensorflow as tf
import tensorflow.keras.backend as K
from UNet import model
from UNet.prepare_data import data_gen
import os

# ...

if __name__ == '__main__':
	parser = argparse.ArgumentParser()
	# ...

となっているとしたら、以下のようにします。

import tensorflow as tf
import tensorflow.keras.backend as K
from . import model
from .prepare_data import data_gen
import os

# ...

• 「if __name__ == '__main__':」以下の処理は、train.pyから外す。
• UNet以下のモジュールへのimportは、相対importで行う。(これは、UNet以下全てのモジュールに共通する事)

そして、「UNet」と同じディレクトリに起動スクリプトを作り、先にtrain.pyから外した処理を記述します。

import argparse
import UNet.train

if __name__ == '__main__':
	parser = argparse.ArgumentParser()
	# ...

---

ちなみに、tests ディレクトリは配置上上のディレクトリをインポートする必要があるのですが、例えばtestsから一つ上の train.py をインポートするにはどうするのが正しいのでしょう？

例えばtests/test_train.pyからtrain.pyをimportするのであれば、

# UNet/tests/test_train.py

from .. import train

です。
「.」を重ねる事によって、一階層上のディレクトリを参照します。

Comments

[Yhaya]

ありがとうございます。ちなみに、tests ディレクトリは配置上上のディレクトリをインポートする必要があるのですが、例えばtestsから一つ上の train.py をインポートするにはどうするのが正しいのでしょう？

[katsuko]

回答に追記しました。

[Yhaya]

from .. import train とすると「ValueError: attempted relative import beyond top-level package
」というエラーが出るのですが、これはどういうことでしょうか？

[katsuko]

「tests/test_train.py」と「train.py」が同じトップレベルパッケージの下にない(なので、トップレベルを超えている)というメッセージです。
私の回答の通り、起動スクリプト(最初に実行するスクリプト)を「UNet」と同じところに置いて実行していればそのようなエラーは起きないはずですが、その辺りはどうですか。

[Yhaya]

UNet と同じディレクトリに testsディレクトリを移し、「from ..UNet import train」としてUNetとtestsディレクトリの親ディレクトリから「python -m pytest tests/test_train.py」を実行したところ「E ImportError: attempted relative import with no known parent package」となりました。

[katsuko]

UNetと同じディレクトリに置いたら、もう同じトップレベルとは言えないので相対importは使えません。
「from UNet import train」としてください。

[Yhaya]

そうすると最初の質問の問題に戻ってしまうんですよね。。。
すみません、長くなりすぎてしまって最初の質問から広がりすぎてしまっている気がしてきたので、新しく質問立てました。もしよろしければそちらもお願いいたします。ありがとうございました。
https://teratail.com/questions/220907?modal=q-comp