【exec(str)】【from ~ import ...】exec(str)に引数"from ~ import ..." を与える

Question

前提・実現したいこと

別のモジュールの中に記述したリストオブジェクト（名前はf_list）をimportする時、モジュールを引数で指定したいと思い、以下のようなコードを書きました。

$ vim ./test.py
def test(module_name, obj_name):
    exec("from {module_name} import f_list")
    f_list = eval('f_list')
    if obj_name in f_list:
        print(True)
    else:
        print(False)

if __name__ == '__maiin__':
    eval(input('>>> ')

発生している問題・エラーメッセージ

ここで、同じディレクトリの./factorial.pyのf_listを./test.pyでimportしてみます。

$ vim ./factorial.py
f_list = ['fact']
def fact(n, m):
    if n == m:
        return m
    else:
        return n * fact(n-1)

$ python ./test.py
>>> test("factorial", "fact")

すると以下のようなエラーを吐きます。

Traceback (most recent call last):
  File "test.py", line 11, in <module>
    eval(input('>>> '))
  File "<string>", line 1, in <module>
  File "test.py", line 3, in test
    f_list = eval('f_list')
  File "<string>", line 1, in <module>
NameError: name 'f_list' is not defined
$ _

試したこと

print(eval("f_list"))と書き換えた./test.pyは動作します。

$ vim ./test.py
def test(module_name):
    exec(f"from {module_name} import f_list")
    print(eval('f_list'))

if __name__ == '__maiin__':
    eval(input('>>> ')

$ python ./test.py
>>> test('factorial')
['fact']
$ _

ですが以下のコードは動きません。

$ vim ./test.py
def test(module_name):
    exec(f"from {module_name} import f_list")
    f_list = eval('f_list')
    print(f_list)

if __name__ == '__maiin__':
    eval(input('>>> ')

$ python ./test.py
>>> test('factorial')
Traceback (most recent call last):
  File "test.py", line 16, in <module>
    eval(input('>>> '))
  File "<string>", line 1, in <module>
  File "test.py", line 3, in test
    f_list = eval('f_list')
  File "<string>", line 1, in <module>
NameError: name 'f_list' is not defined
$ _

つまるところ

execで文字列を式として評価してimportしたオブジェクトf_listが、関数の中で変数f_listとして使えないという問題に直面しています。f_list = eval('f_list')のように変数名を与えても動きません。しかしprint(eval('f_list')は動くので混乱しています。

補足情報（FW/ツールのバージョンなど）

Mac OS X (El Captian)
Anaconda3-5.2.0 (Python3.6)

Answer 1

execやevalはスコープや名前空間が絡むと大変なので、そういう用途では使わないほうが無難です。

単純な例を示します。

hoge.py

f_list = [1,2,3]

>>> def f():
...     exec("from hoge import f_list")
...     print(f_list)
... 
>>> f()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 3, in f
NameError: name 'f_list' is not defined
>>> f_list = [4,5,6]
>>> f()
[4, 5, 6]

こうなる理由は変数のスコープが関数の定義時に構文に基づいて決定されるからです。

execの引数のstrはただの文字列なので、「f_listがfの中の名前空間に存在する」とは認識されません。結果、f_listはグローバル変数なんだろうな、と認識されてしまいます。実行時にローカルの名前空間にf_listが追加されても探索の対象にならない訳です。

ということを踏まえた上で、次にこの状況ですが、

>>> def f():
...     exec("from hoge import f_list")
...     print(eval("f_list"))
... 
>>> f()
[1, 2, 3]

これが無事に実行されるのはeval自体が実行時の環境で評価を行うので、locals辞書に入っちゃったf_listが見えるから、かな・・・？

>>> def f():
...     exec("from hoge import f_list")
...     f_list = eval("f_list")
...     print(f_list)
... 
>>> f()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 3, in f
  File "<string>", line 1, in <module>
NameError: name 'f_list' is not defined

これ不思議ですね。実はこんなのでも失敗します。

>>> def f():
...     exec("from hoge import f_list")
...     print(eval("f_list"))
...     f_list = None
... 
>>> f()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 3, in f
  File "<string>", line 1, in <module>
NameError: name 'f_list' is not defined
>>> f_list = [4,5,6]
>>> f()
[4, 5, 6]

f_listに対して代入すると何か壊れるのかな？　という感じですが・・・

実はpython2だとこれ動きます。

Python 2.7.6 (default, Oct 26 2016, 20:30:19) 
[GCC 4.8.4] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> def f():
...     exec("from hoge import f_list")
...     print(eval("f_list"))
...     f_list = None
... 
>>> f()
[1, 2, 3]

あまりちゃんと分析していませんが、たぶんこのへんが絡みます。

python - How does exec work with locals? - Stack Overflow

結論は面倒くさいのでやめましょう、です（投げやりだけど・・・）。

exec, evalはそんな気楽に使える便利関数ではありません。特にexecは素晴らしいハマりポイントをたくさん用意してくれるので、死んでも使いたくない。

Answer 2

おもしろい現象ですね。
このようなときは、ミニマムなコードで状況を再現し、原因を絞り込むのが常套手段です。

エラーの再現

次のようなコードで状況が再現しました。Wandbox

module.py

answer = 42

main.py

module_name = 'module'

def main(module_name):
    exec(f'from {module_name} import answer')
    print(answer)

main(module_name)

エラーの条件の検討と、解決

一方、main.pyを次のように書いたときには問題なく動作します。Wandbox

module_name = 'module'

# def main(module_name):
if True:
    exec(f'from {module_name} import answer')
    print(answer)

# main(module_name)

この違いは、execをグローバルスコープで実行するか否かだと考えました。
実際、次のようにグローバル辞書を与えてやると上手く動作します。Wandbox

module_name = 'module'

def main(module_name):
    exec(f'from {module_name} import answer', globals())
    print(answer)

main(module_name)

グローバル空間の汚染を避ける

もう少し検討した結果、次のように書いた方がより正確であることに気付きました。

module_name = 'module'

def main(module_name):
    exec(f'from {module_name} import answer as _answer')
    answer = locals()['_answer']   # eval('_answer') でも可
    
    print(answer)
    
main(module_name)
print(answer)

実行結果 Wandbox

42
Traceback (most recent call last):
  File "prog.py", line 10, in <module>
    print(answer)
NameError: name 'answer' is not defined

スコープ外でちゃんとエラーになってくれるところが良さげです。

なお、_answerをいちいち経由しているのにも理由があります。

module_name = 'module'

def main(module_name):
    exec(f'from {module_name} import answer')
    answer = locals()['answer']
    
    print(answer)
    
main(module_name)
# print(answer)

実行結果 Wandbox

Traceback (most recent call last):
  File "prog.py", line 9, in <module>
    main(module_name)
  File "prog.py", line 5, in main
    answer = locals()['answer']
KeyError: 'answer'

Pythonインタプリタは関数内の代入を前もって舐めているので、
未初期化状態であるanswerをローカル辞書に登録することを避けるのでしょうね。

あくまで推測の域を出ませんが。

原因

検討の末、判明したエラーの要因は次のとおりです。

• ローカルな名前空間を持つブロックで
• execに依って代入やそれに準ずる文を書き
• それ以降に同名の変数を宣言する場合

こっちはNameError: name 'answer' is not definedを吐きますが、 Wandbox

def main():
    exec('answer = 42')
    answer = eval('answer')
    
    return answer

print(
    main()
)

こっちは吐かないです。Wandbox

def main():
    exec('_answer = 42')
    answer = eval('_answer')
    
    return answer

print(
    main()
)

最終的な結論

やはりexecやevalを利用するのは最終手段ですね。

Comments

[退会済みユーザー]

def main():
のように関数を定義する場合、ローカルの変数名のみが見えるということでしょうか。
こちらには書きませんでしたが、確かに関数を定義する方法ではなく、スクリプトとして実行すると上手くいくんですよね。

グローバルスコープについて勉強してみたいと思います。

[LouiS0616]

関数を定義する際、内部の代入を解析する処理が走るようなのです。
例えば、次の二つのコードは、別々のエラーを吐きます。

---
>>> def main():
... print(num)
...
>>> main()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<stdin>", line 2, in main
NameError: name 'num' is not defined
---
>>> def main():
... print(num)
... num = 0
...
>>> main()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<stdin>", line 2, in main
UnboundLocalError: local variable 'num' referenced before assignment

[LouiS0616]

ここらへんの話がたいへん面倒くさく、また普通にコードを組む分には意識しなくて良い部分なので、やはりevalやexecは避けるべき、というのが一般的な結論です。

Answer 3

Python: モジュールを動的にロードする

以下引用
標準ライブラリの importlib を使うのが推奨される方法らしいです。

helloworld.py

def greet():
    print('Hello, World!')

import importlib
module = importlib.import_module('helloworld')
module.greet()
module.__name__

出力

Hello, World!
'helloworld'