setup.cfgとsetup.pyでpip3 installしたプログラムが動作しない

Question

setup.cfgとsetup.pyでpip3 installしたプログラムが動作しない。プロジェクトフォルダ上で直接実行すると動きます。おそらくsetup.cfgの書き方が間違っているのですが、setuptoolsを読んでみてもいまいち正しい書き方がわかりません。参考になりそうな記事もソースコードがプロジェクトのルート(setup.pyとsetup.cfgが置かれているディレクトリを指します)ではなく配下にsrcフォルダ等作ってそちらにソースコードをすべて入れているような記述でプロジェクトのルート直下にソースコードをおいてる場合どうすればいいのかがわかりません。

実現したいこと

elodieというpythonで書かれたプログラムをpip3 install ./ にて依存関係もまとめてインストールしパスを通った状態にして実行できるようにしたいです。

• プロジェクトフォルダ内でpip3 install ./したら依存関係をまとめてインストールする。
• $HOME/.local/bin/にインストールされ、コマンドとしてパスが通ってる状態にする。

実行環境とやったこと

プロジェクトフォルダの中身

下記リンクを参照してください。
https://github.com/chekke1999/elodie/tree/teratail-qa-branch

下記のdockerfileとdocker-composeの内容で作ったコンテナにdocker exec -it elodie ashで入ります。

FROM python:3.10.5-alpine3.16
ARG USER_NAME
ARG UID
ARG GID
ENV PATH $PATH:/home/${USER_NAME}/.local/bin/
RUN mkdir /home/${USER_NAME} && chown ${UID}:${GID} /home/${USER_NAME}
RUN apk update --no-cache
RUN apk add --no-cache --virtual py-set python3-dev gcc libc-dev 
RUN apk add --no-cache --virtual Pillow-lib zlib-dev jpeg-dev gcc musl-dev
RUN apk add --no-cache perl-image-exiftool exiftool 
RUN pip3 install click send2trash future requests six tabulate

version: '3'
services:
  elodie:
    build:
      context: .
      dockerfile: Dockerfile.new
      args:
        - USER_NAME=${USER_NAME}
        - UID=${UID}
        - GID=${GID}
    user: ${UID}:${GID}
    container_name: elodie
    working_dir: /home/${USER_NAME}/elodie
    volumes:
      - /etc/group:/etc/group:ro
      - /etc/passwd:/etc/passwd:ro
      - ./:/home/${USER_NAME}/elodie
    tty: true

入ったら/home/${USER_NAME}/elodieがカレントディレクトリでそこに上記のプロジェクトフォルダがマウントされてます。
まずは./elodie.pyでそのまま実行してみます。以下のような出力が表示されます。

Usage: elodie.py [OPTIONS] COMMAND [ARGS]...

Options:
  --help  Show this message and exit.

Commands:
  batch        Run batch() for all plugins.
  generate-db  Regenerate the hash.json database which contains all of...
  import       Import files or directories by reading their EXIF and...
  update       Update a file's EXIF.
  verify

次にpip3 install -v ./でインストールします。/home/$HOME/.local/bin/elodieにインストールされパスが通った状態になるのでelodieと入力し実行します。すると下記のようなエラーを出力します。

Traceback (most recent call last):
  File "/home/username/.local/bin//elodie", line 5, in <module>
    from elodie import entrypoint
  File "/home/username/.local/bin/elodie.py", line 14, in <module>
    from elodie.dependencies import verify_dependencies
ModuleNotFoundError: No module named 'elodie.dependencies'; 'elodie' is not a package

elodieフォルダ配下のプログラムが一緒にインストールされなかったからだと思います。

作成したsetup.cfgとsetup.py

#!/usr/bin/env python3
from setuptools import setup
from pathlib import Path
from os import path,sep
import shutil
#　home directory配下の.elodieに設定ファイルを設置
from_config = Path(f"{path.dirname(path.abspath(__file__))}{sep}config.ini-sample")
to_config = Path(f"{path.expanduser('~')}{sep}.elodie{sep}config.ini")
def copy(from_p,to_p):
    print(f"copy configfile")
    print(f"{from_p} > {to_p}\n")
    to_p.parent.mkdir(parents=True,exist_ok=True)
    if not to_p.is_file():
        shutil.copy(from_p,to_p)
copy(from_config,to_config)
setup()

[metadata]
name = elodie
description = メディアファイル整理プログラム
long_description = file: README.md
long_description_content_type = text/markdown
license = GNU GENERAL PUBLIC LICENSE
license_file = LICENSE
[options]
scripts =
    elodie.py
install_requires =
    click==6.6
    requests==2.20.0
    Send2Trash==1.3.0
    future==0.16.0
    configparser==3.5.0
    tabulate==0.7.7
    Pillow==6.2.2; python_version == '2.7'
    Pillow==8.0; python_version >= '3.6'
    six==1.9
packages = find:

[options.entry_points]
console_scripts =
    elodie = elodie:entrypoint

elodie.pyは下記のように少し手を加えています

diff --git a/elodie.py b/elodie.py
index 5eb2097..9ffdf12 100755
--- a/elodie.py
+++ b/elodie.py
@@ -367,8 +367,7 @@ main.add_command(_generate_db)
 main.add_command(_verify)
 main.add_command(_batch)
 
-
-if __name__ == '__main__':
+def entrypoint():
     #Initialize ExifTool Subprocess
     exiftool_addedargs = [
        u'-config',
@@ -376,3 +375,7 @@ if __name__ == '__main__':
     ]
     with ExifTool(executable_=get_exiftool(), addedargs=exiftool_addedargs) as et:
         main()
+
+if __name__ == '__main__':
+    entrypoint()
+

Comments

[quickquip]

動作しない
とはどういうことですか? import ができないということか、importがエラーになるということか、挙動が異なってしまうということか、あたりを想像しますが、実際はどうなりますか

プロジェクトのルート直下にソースコードをおいてる場合
とはどういうことですか。プロジェクトをどういう意味で使っていますか? どういう構造をしていますか? どのように実行していますか?

あたりを質問を編集して追記するとよいと思います。

[chekke1999]

>importがエラーになるということか、挙動が異なってしまうということか、あたりを想像しますが、実際はどうなりますか

おっしゃる通りです。質問内容を編集しました。ご確認頂ければと思います。

Answer 1

setup.cfgは書いたことがないのですが、大体setupの引数と同じだと思ってますので、そのつもりで回答します。

setup.cfg の scripts は、実行可能なディレクトリにシェルスクリプトとしてスクリプトをコピーする指定、console_scripts は、実行可能なディレクトリに指定したモジュールと関数を実行する実行可能ファイルを作成する指定なので、やっていることは違いますが目的としては同じものです。

また、エラーメッセージを読む限りでは、scripts で指定したファイルを elodie モジュールとして読み込んでしまってます。
そのために elodie.dependenciies モジュールが見つからないのではないでしょうか。

なので、

1. setup.cfg の「scripts = elodie.py」は削除
2. elodie.py は、elodie ディレクトリに移動(いっしょにインストールされるようにするため)
3. set.cfgの「console_scripts」は、「elodie = elodie.elodie:entrypoint」に変更(2.でファイルを移動したため)

とすればいい気がします。

---

setup.py

# coding: utf-8

from setuptools import setup

setup()

setup.cfg

[metadata]
name = elodie

[options]
packages = find:

[options.entry_points]
console_scripts =
	elodie = elodie.elodie:entrypoint

elodie/elodie.py

# coding: utf-8

def entrypoint():
	print('Hello, world!')

elodie/__init__.py

# 空でもいいので、__init__.pyがないとパッケージとして見つけてくれない。

上記の構成でsetupしてみましたが、ちゃんとelodieを実行して「Hello, world!」が表示されました。

コメントでも書きましたが、とりあえず「pip3 show -f elodie」を実行して、ちゃんとインストールされたものを確認してください。
もしパッケージがインストールされていないのであれば、考えられるとしたら、

• setup.cfg の packages の項目を削除してしまった。
• elodie/__init__.py がない。(フォルダの中に「__init__.py」がないと、パッケージとして見つけてくれません)

ぐらいですかね。

Comments

[chekke1999]

教えて頂いた手順の後にpip3 install ./したあとにelodieを実行すると以下のようなエラーが出ます。
Traceback (most recent call last):
File "/home/username/.local/bin//elodie", line 5, in <module>
from elodie.elodie import entrypoint
ModuleNotFoundError: No module named 'elodie'

おそらく~/.local/lib/python3.10/site-packagesに/home/username/.local/bin/elodieがimportするであろうパッケージが設置されてるはずだと思いますが、~/.local/lib/python3.10/site-packages/elodie-0.0.0.dist-infoしかありません...。

[katsuko]

もしかして、前にインストールした$HOME/.local/bin/elodie.pyが残っていませんか？(.pyがついている点に注意)
あれば、削除してください。

[katsuko]

あと、「pip3 show -f elodie」でインストールしたファイルの内容を確認してください。

[chekke1999]

とりあえずコンテナ検証用のdockerコンテナ作り直してpythonのバージョンを3.9に下げたらちゃんと出来ました。ありがとうございます。pythonのバージョンが3.10以降だとだと以下のエラーが出てダメでした。
Traceback (most recent call last):
File "/home/username/.local/bin//elodie", line 5, in <module>
from elodie.elodie import entrypoint
File "/home/username/.local/lib/python3.10/site-packages/elodie/elodie.py", line 32, in <module>
from elodie.result import Result
File "/home/username/.local/lib/python3.10/site-packages/elodie/result.py", line 1, in <module>
from tabulate import tabulate
File "/home/username/.local/lib/python3.10/site-packages/tabulate.py", line 7, in <module>
from collections import namedtuple, Iterable
ImportError: cannot import name 'Iterable' from 'collections' (/usr/local/lib/python3.10/collections/__init__.py)

[katsuko]

時間がないのでちょっと見ただけですが、tabulateの最新のコードだと直っていそうです。
https://github.com/gregbanks/python-tabulate/blob/master/tabulate.py