python 自作モジュール インポートエラー

Question

前提・実現したいこと

Pythonで自作モジュールを読み込む

https://qiita.com/halhorn/items/c91497522be27bde17ce
https://github.com/halhorn/deep_dialog_tutorial
このサイトのコードを動かしたいのですが、モジュールの読み込みでエラーが出ます

githubにあるコードでは最初にディレクトリを一番上に持っていってそこからパスを入れていると思います。
training.pyの中でtransformer.pyの中のTensorflowクラスを呼び出したいです。

ですが、deepdialogフォルダをなぜかファイルとして認識しているのでは？と思っています。

発生している問題・エラーメッセージ

ModuleNotFoundError: No module named 'deepdialog'

該当のソースコード(training.py)

import os
while os.getcwd().split('/')[-1] != 'deep_dialog_tutorial':
    os.chdir('..')
print('current dir:', os.getcwd())

import tensorflow as tf
from deepdialog.transformer.transformer import Transformer
from deepdialog.transformer.preprocess.batch_generator import BatchGenerator

current dir: /home/user/deep_dialog_tutorial
Traceback (most recent call last):
  File "test.py", line 9, in <module>
    from deepdialog.transformer.transformer import Transformer
ModuleNotFoundError: No module named 'deepdialog'

該当のソースコード(transformer.py)

import tensorflow as tf
from typing import List
from .common_layer import FeedForwardNetwork, ResidualNormalizationWrapper, LayerNormalization
from .embedding import TokenEmbedding, AddPositionalEncoding
from .attention import MultiheadAttention, SelfAttention
from .metrics import padded_cross_entropy_loss, padded_accuracy

PAD_ID = 0


class Transformer(tf.keras.models.Model):
    '''
    Transformer モデルです。
    '''
    def __init__(
            self,
            vocab_size: int,
            hopping_num: int = 4,
            head_num: int = 8,
            hidden_dim: int = 512,
            dropout_rate: float = 0.1,
            max_length: int = 50,
            *args,
            **kwargs,
    ) -> None:
        super().__init__(*args, **kwargs)
        self.vocab_size = vocab_size
        self.hopping_num = hopping_num
        self.head_num = head_num
        self.hidden_dim = hidden_dim
        self.dropout_rate = dropout_rate
        self.max_length = max_length

        self.encoder = Encoder(
            vocab_size=vocab_size,
            hopping_num=hopping_num,
            head_num=head_num,
            hidden_dim=hidden_dim,
            dropout_rate=dropout_rate,
            max_length=max_length,
        )
        self.decoder = Decoder(
            vocab_size=vocab_size,
            hopping_num=hopping_num,
            head_num=head_num,
            hidden_dim=hidden_dim,
            dropout_rate=dropout_rate,
            max_length=max_length,
        )

###フォルダ構成
/deep_dialog_tutorial
..../data
..../deepdialog
......../pycache
......../datasource
......../rnnlm
......../transformer
............/training.py(実行ファイル)
............/transformer.py
..../temp
..../test

試したこと

colabでは正常に動きます
しかし、ローカルで試すと上記のエラーが出ます

補足情報（FW/ツールのバージョンなど）

tensorflow==1.14.0

Comments

[ppaul]

print('current dir:', os.getcwd())の結果はなんと出力されていますか？

[Sh1nn]

current dir: /home/user/deep_dialog_tutorial
と出力されています
よろしくおねがいしますm__m

Answer 1

https://docs.python.org/ja/3/library/sys.html#sys.path

起動時に初期化された後、リストの先頭 (path[0]) には Python インタプリタを起動したスクリプトのあるディレクトリが挿入されます。スクリプトのディレクトリがない (インタプリタが対話セッションで起動された時や、スクリプトを標準入力から読み込んだ場合など) 場合、 path[0] は空文字列となり、Python はカレントディレクトリからモジュールの検索を開始します。

したがって、

対話環境を実行した時や、python -c 'コード'と実行した時や、JupyterやGoogle Colaboratoryで実行した時()は、空文字がsys.pathに入っていてカレントディレクトリから探索されます。
() JupyterやGoogle Colaboratoryが入れてくれているのだと思います

python training.pyと実行した時は、起動したスクリプトのあるディレクトリつまり/home/user/deep_dialog_tutorial/deepdialog/transformerが入っていて、カレントディレクトリからは探索されません。
（追記）というか、逆に、セキュリティ的な動機でカレントディレクトリから探索されないようにしている、と考えるのが自然かと思います。

不思議なことは何もなく、そのようには動かせないコードであるというだけの話です。

---

正直「そんなディレクトリ構造をPythonは想定していない」で終わりたいところですが、少ない修正で動かすなら、冒頭を

import os, sys
while os.getcwd().split('/')[-1] != 'deep_dialog_tutorial':
    os.chdir('..')
sys.path.append(os.getcwd())

にするとかでしょうか。（実際試してはいませんが）

Comments

[Sh1nn]

回答ありがとうございます。
確かに上のディレクトリを把握できてしまうのは問題がありますね。
回答いただいた修正で試すと動きました。
ありがとうございました。__m

Answer 2

もし、示されたエラーメッセージが間違いない(つまりコピペ)だとすると、ソースとの整合性がとれません。
ソースは、

from deepdialog.transformer.transformer import Transformer

エラーメッセージは、

Traceback (most recent call last):
File "training.py", line 44, in <module>
from deepdialog.transformer.tsformer import Transformer

transformerではなく、tsformerですね。

一見すると、動かしているつもりのソースコードと実際に動いているソースコードが合っていないように見えます。
コピペの間違いなら質問を編集してください。

Comments

[Sh1nn]

回答ありがとうございます。
transformerをtsformerとしたのは別件でファイル名がtransformerだとcolabで動かないエラーが出たためです。
ややこしく書いてしまい申し訳ありません。

[Sh1nn]

current dir: /home/user/deep_dialog_tutorial
Traceback (most recent call last):
File "test.py", line 9, in <module>
from deepdialog.transformer.transformer import Transformer
ModuleNotFoundError: No module named 'deepdialog'

もとのファイル名で試してみましたが、うまくいきません；；