Python で自作パッケージのインポートの方法もしくはディレクトリ配置の方法

Question

環境

• Ubuntu 19.10
• Python 3.7.3

生じている問題

現在、作業をしているディレクトリは下のような構造をしています。

.
├── UNet
│   ├── README.md
│   ├── __pycache__
│   ├── model.py
│   ├── params
│   ├── prediction.py
│   ├── prepare_data.py
│   └── train.py    # メインの関数が定義されている。 model.py, prepare_data.py をインポートしている
└── tests
    ├── __pycache__
    └── test_train.py    # train.py のテストコード

train.py がメインのコードでこれを

python ./UNet/train.py

のように実行することを想定しています。train.py の中では model.py や prepare_data.py をインポートして使うのですが、どのようにしてこれをインポートすればよいのかわかりません。

試したこと

方法１

UNet/train.py

from UNet import model
from UNet.prepare_data import data_gen

tests/test_train.py

from UNet import train

とインポートすると、pytest tests/test_train.py や python UNet/train.py を実行したときに

ModuleNotFoundError: No module named 'UNet'

となります。python -m pytest tests/test_train.py はエラーなく通ります。

方法２

UNet/train.py

import model
from prepare_data import data_gen

とすると python UNet/train.py は通りますが、 pytest tests/test_train.py は

ModuleNotFoundError: No module named 'UNet'

となって、test_train.py のなかで from UNet import train を呼んでいる部分でエラーが出ます。python -m pytest tests/test_train.py は

ModuleNotFoundError: No module named 'model'

となります。

ディレクトリ配置に問題があるでしょうか？それもとインポート方法がおかしいのでしょうか？よろしくお願いします。

Comments

[meg_]

test_train.pyでのimportはどうなっているのですか？

Answer 1

以前の回答で書きましたが、「python UNet/train.py」とせず、起動スクリプトを「UNet」「test」ディレクトリと同じディレクトリに置き、そこから起動するようにしたのではだめなのでしょうか。

他のやり方としては、「python UNet/train.py」ではなく、「python -m UNet.train」というように実行してください。

---

重要なのは、top-levelパッケージ(以前の自分の説明では「ルートパッケージ」と表現していましたが、こっちの方が本家っぽいので以下このように説明します)がどこになるかをしっかり把握する事です。

top-levelパッケージが検索されるディレクトリは、PYTHONPATHでの設定や、実行時のsys.pathのリストに設定されているディレクトリになります。
そして、以前の他の回答で書きましたが、起動した時に起動スクリプトのあるディレクトリがsys.pathに加わります。

例えば、「python UNet/train.py」と実行した場合、UNetディレクトリがsys.pathに加わり、train.py/model.pyがtop-levelのモジュールとして認識される事になり、train.pyからmodel.pyをimportする場合には「import model」というように、相対importを使わずに「UNet」をつけずにimportする必要があります。

また、「python tests/test_train.py」と実行した場合、testsディレクトリがsys.pathに加わり、test_train.pyがtop-levelのモジュールとして認識される事になります。
そうなると、UNetディレクトリはtop-levelパッケージ・モジュールの検索外となるので、train.pyを含むUNetディレクトリ以下のスクリプトをimportする事はできません。

以上の事を考えると、UNet/testsディレクトリのあるディレクトリをtop-levelパッケージ・モジュールの対象ディレクトリにするのが一番スマートかと思います。
ですので、UNet/testsディレクトリのあるディレクトリに起動スクリプトを作り、それを起動する事をおすすめします。
(もちろん、他にもやり方はありますが)

Comments

[Yhaya]

起動スクリプトをUNetと同じディレクトリには置きたくない事情があるので、python -m UNet.train　を使うことにしました。ありがとうございます。

Answer 2

パッケージ化されていないようなので、「import XXXX」でパスは相対パスで良いと思います。