(Python) 別のディレクトリにあるファイルをopenできない ※モジュールとして実行する場合

Question

パス指定について度々質問を投稿してしまい，本当に申し訳ないのですが，
下記エラーが発生する背景をご教示いただけますと幸いです。。

FileNotFoundError: [Errno 2] No such file or directory

「ファイル操作における相対ディレクトリの起点は、カレントディレクトリである」ということを念頭に置いて，ファイル取得を行うコードを書きました。具体的には，カレントディレクトリや実行ファイルパスに影響が出ないようにカレントディレクトリを「os.chdir」により固定しています。それにも関わらず，なぜエラーが発生するのでしょうか？

#ファイルをうまく取得できるケース
下記のようなディレクトリ構造においてファイルを実行したとき，ファイルをうまく取得できました。
※ちなみにこれは，前回の質問「(Python) 別のディレクトリにあるファイルをopenできない」が解決した成果です。

projectX
|_apps ★ファイル実行時点のカレントディレクトリ＝ファイル取得時点のカレントディレクトリ
  |_configurator.py ★実行ファイル
|_users
  |_demo
    |_config.yml ★欲しいファイル

# ~/projectX/apps カレントディレクトリ
# $configurator.py 実行ファイルパス

class Configurator:
    @classmethod
    def user_config(cls, user_name):
        os.chdir(os.path.dirname(os.path.abspath(__file__))) #カレントディレクトリをこのファイル自身のディレクトリに移動
        print(os.getcwd()) # C:\Users\masat\projectX\apps がいつでも出力される
        config_path = f'../users/{user_name}/config.yml'
        with open(config_path, "r", encoding='utf-8') as yaml_file:
            ...

if __name__ == "__main__":
    config = Configurator.user_config("demo")
    print(config)

#ファイルをうまく取得できないケース
####①カレントディレクトリは同じ，かつ，異なるパスにあるファイルを実行した場合
上記「configurator.py」をモジュールとして使う別ファイルを実行すると，ファイル取得（open）ができず「FileNotFoundError」が発生しました。

projectX
|_apps ★カレントディレクトリ＝ファイル取得時点のカレントディレクトリ
  |_configurator.py ★モジュールとして利用
  |_bigquery_app
    |_base.py ★実行ファイル
|_users
  |_demo
    |_config.yml ★欲しいファイル

# ~/projectX/apps カレントディレクトリ
# $bigquery_app/base.py 実行ファイルパス

os.chdir(os.path.dirname(os.path.abspath(__file__)))
sys.path.append('..') #これはimportのパスの起点には影響するがファイル取得（カレントディレクトリ）には影響しない※前回の質問でご教示いただいた内容
from configurator import Configurator
class BigqueryBase:
    def __init__(self, ...):
        ...
        self.config = Configurator.user_config(user_name)['system'] # configurator.pyのwith open() を実行
        ...

####②カレントディレクトリが異なるファイルを実行した場合
当然のように下記の場合も同様のエラーが出ました。

projectX
|_apps ★ファイル取得時点のカレントディレクトリ
  |_configurator.py ★モジュールとして利用
  |_bigquery_app ★ファイル実行時点のカレントディレクトリ
    |_base.py ★実行ファイル
|_users
  |_demo
    |_config.yml ★欲しいファイル

Comments

[quickquip]

なぜsys.path.appendやos.chdirみたいな飛び道具で解決しようとしているのか? がよくわかってなくて、そういう飛び道具的,外道的な手段が使えるようになりたいということなのか、こういう構造でどうすると動かせるようになるのか知りたいということなのか、そのあたりの質問の根本的趣旨がよくわからなかったです。（感想ですが）

[bsdfan]

プログラムの最初で決めた場所にchdirして、あとはそこからの相対パスで動くように作れば簡単だと思うのですが、今のやり方にこだわりがありますか？
カレントディレクトリの移動はいろんなところに影響するので、むやみにやるべきことではないです。現状の混乱もそこに起因していると思われます。

[masatoemata]

@quickquip さん
コメントありがとうございます。
いろいろ試してるうちに「os.chdir」をコードに追加してみていましたが，
本当は基本に忠実に，シンプルに解決したいです。なのでこちらの趣旨になります。
>こういう構造でどうすると動かせるようになるのか知りたいということなのか

[masatoemata]

@bsdfan さん
基本方針について重要なアドバイスをくださりありがとうございます。
今のやり方にこだわりはないので，混乱のもとを潰してみます。
できたら結果報告します！

[masatoemata]

@bsdfan さん

プログラムの最初で決めた場所にchdirして、あとはそこからの相対パスで動くように作りました！
※コードをシンプルにできたので，原因も特定しやすくなりました。お恥ずかしい話ですが，パスがあたらないのは下記「{user_name}」の引数が微妙に実際のディレクトリ名と違う文字列になっていたからでした。
config_path = f'../users/{user_name}/config.yml'

Answer 1

「質問への追記」でいただいたアドバイスをきっかけに解決したので記入します。

quickquip
2021/09/27 08:40
なぜsys.path.appendやos.chdirみたいな飛び道具で解決しようとしているのか? がよくわかってなくて、そういう飛び道具的,外道的な手段が使えるようになりたいということなのか、こういう構造でどうすると動かせるようになるのか知りたいということなのか、そのあたりの質問の根本的趣旨がよくわからなかったです。（感想ですが）

bsdfan
2021/09/27 11:07
プログラムの最初で決めた場所にchdirして、あとはそこからの相対パスで動くように作れば簡単だと思うのですが、今のやり方にこだわりがありますか？
カレントディレクトリの移動はいろんなところに影響するので、むやみにやるべきことではないです。現状の混乱もそこに起因していると思われます。

↓

• 複数のファイルそれぞれでカレントディレクトリを指定するのではなく，最初で決めたファイルでのみ指定して、あとはそこからの相対パスでファイルを取得するシンプルな構成にしました。
• コードをシンプルにできたので，原因も特定しやすくなりました。お恥ずかしい話ですが，パスがあたらないのは下記「{user_name}」の引数が微妙に実際のディレクトリ名と違う文字列になっていたからでした（申し訳ございません）。

config_path = f'../users/{user_name}/config.yml'

• 今後飛び道具での解決に逃げないよう，基本を抑えるよう精進します。

Answer 2

importされたファイルの中で__file__を参照した場合、
__file__はimportされたファイルのpathではなく、
pythonコマンドの引数として与えられたファイルのpathです。

そのため、質問に書かれたような動作になります。

_configurator.pyの中に、

print(__file__)

を追加して実行してみればすぐにわかることです。

Comments

[masatoemata]

ご教示ありがとうございます。いただいた方法で動作の流れを確認してみます！
いろいろ理解したらまたコメントしますm(__)m