自作のツールで、パラメータや機能の管理をうまく行いたい(保守性を上げたい)

Question

前提・実現したいこと

周りの知り合いの間でPC操作を効率化するためのツールを作って、更新しています。
ツールは複数の機能（10程度)と、それぞれの機能に渡す、複数の仕向け（人別）の
パラメータがあります。（概略イメージは下記となります）

これらについて、最近パラメータや機能の変更が多く、GUIと紐づく機能の管理がややこしく
なってきました。これらのパラメータの管理について保守性を上げたいのですが、
どのようなことに取り組めばよいでしょうか。
（今回の例では、簡単化のためにすべてベタで書きましたが、それぞれの処理を関数にはしてみましたが、あまり保守性が上がったように思えませんでした…）

該当のソースコード

# パラメータ読み込み処理(json, iniなどから…) 
conf_ini = configparser.ConfigParser()  # パラメータ設定（例えばiniファイルの場合）
...(中略)
# パラメータ選択
str_param_type = "DEFAULT"
if param_type == "1":
    str_param_type = "AAA"
elif param_type == "2":
    str_param_type = "BBB"
elif param_type == "3":
    str_param_type = "CCC"
    ...(中略)
# ツール種別選択
tool_select_type = "YYY"
if tool_type == "0":
    tool_select_type = "XXX"
elif tool_type == "1":
    tool_select_type = "YYY"
elif tool_type == "2":
    tool_select_type = "ZZZ"
    ...(中略)

#  その他もろもろの初期化処理など

# 各種別のツールごとの処理
if tool_type == "XXX":
    execute_XXX(conf_ini, str_param_type)
elif tool_type == "YYY":
    execute_YYY(conf_ini, str_param_type)
...(中略)

補足情報（FW/ツールのバージョンなど）

Python 3.7.6

Comments

[退会済みユーザー]

要件の具体化のため確認したいのですが、下記のような理解でいいでしょうか。
理解が間違っている部分があれば御指摘ください。

・Ａさん、Ｂさん、Ｃさんといったユーザーいずれも、使いたい機能（たとえば「担当製品の月次売上高の集計」「担当製品の地域別売上高集計」「顧客別進捗一覧の出力」みたいなもの）は共通している。その数が１０個くらいある。

・ツール使用者ごと（Ａさん、Ｂさん、Ｃさん）に、使うデータや表示内容が異なる
（例えば・Ａさん、Ｂさん、Ｃさんごとに、担当製品が異なっている
　　　・ユーザー別売上集計において、Ａさんは10百万円以上のユーザーを表示したいが、Ｂさんは2百万円以上のユーザーを表示したい、等の違いがある。
→そうした「異なるデータソースや表示方法等々」を、使用者（Ａさん～Cさん）ごとに「str_param_type 」や「 tool_select_type」というパラメータで指定している）

・pythonスクリプトには、ツール使用者がデータを加工する上での共通機能となるものを関数として書いている。
関数呼び出し時に上記パラメータを指定することで、使用者ごとのニーズの違いを吸収している。

具体例として挙げたシチュエーションは異なるかもしれませんが、それは別として、今質問者さんが困っていることとして質問に書いた「最近パラメータや機能の変更が多く」「GUIと紐づく機能の管理がややこしくなってきた」「これらのパラメータの管理について保守性を上げたい」というところを噛み砕いていうと、
・ツール使用者から「こういう機能が欲しい」というような追加要望が出たときに、それに対応しようとすると、共通機能として書いているpythonスクリプト上の処理関数の方も複数変更しなければならなくなり煩雑になっている。
・逆に、共通機能として書いているpythonスクリプト上の「機能」（処理関数）を改善しようとすると、その変更の影響が、ツール使用者ごとのパラメータ設定にも影響し、変更箇所が多くなってしまう。
このような状況なので困っている、という理解でよろしいでしょうか？

[H.K2]

ご質問ありがとうございます。ご質問の内容で正しいと考えています。
ツール配布するときはpyinstallerなどでexeにフリージングして配布となるのですが（ユーザはほとんどPythonスクリプトを実行する環境を持ってない）、機能追加、変更などがそれなりにあるため、exeにする手間なども考えると、コア部分をできるだけ触らず（既存の他の人の機能やパラメータに影響はなるべく与えたくない）、要望に対応できれば、と考えています。

Answer 1

まずINIファイルはベースになるものと、カスタム用の2つを準備して、configparserでベースを読み込んで次にカスタムを読み込むようにすると管理が楽になると思います。

またINIファイルはセクションをうまく分けながら、各セクションと関数やクラスといった処理単位を対応させると以下の例のように結構スマートにかけます。

ご参考までに。

from configparser import ConfigParser

ini_base = '''
[print_nums]
a = 1
b = 2
'''

ini_custom = '''
[print_nums]
b = 3
c = 4
'''

def print_nums(**kwargs):
    for key in kwargs:
        print(key, '=', kwargs[key])

config = ConfigParser()
config.read_string(ini_base)
config.read_string(ini_custom)

print_nums(**config['print_nums'])

Comments

[H.K2]

ご回答ありがとうございます。
なるほど、ベース側でみんな同じパラメータを読んで、custom側で、人別のファイルを用意して
読み取れば、それぞれのパラメータで上書きした状態で管理できる、ということでしょうか。
参考にさせていただきます。

Answer 2

それぞれの機能のプラグイン化でしょうか。
サンプル提示が目的の為、エラー処理等は省略します。

## 改善したいコード
# 各種別のツールごとの処理
if tool_type == "XXX":
    execute_XXX(conf_ini, str_param_type)
elif tool_type == "YYY":
    execute_YYY(conf_ini, str_param_type)

# STEP1: 辞書に纏めておく

execute_dict = {
  "XXX": execute_XXX,
  "YYY": execute_YYY,
}

execute = execute_dict[tool_type]
execute(conf_init, str_param_type)

# STEP2: プラグイン化: 必要なモジュールのみ読み込む

def load_execute_func(tool_type):
    # 例: execute_XXX.py, execute_YYY.py ファイルに execute() 関数
    modname = f"execute_{tool_type}"
    module = __import__(modname)
    return getattr(module, "execute")

execute = load_execute_func(tool_type)
execute(conf_init, str_param_type)

プラグインを扱うライブラリ等もありますが、
「設定ファイルから読み込んだ値に応じて、動的にモジュールをロードする」
という流れが共通する解決策です。

---

• パラメータ選択
• ツール種別選択

のコードは、数値 → 値の変換なので、辞書を使って key => value 変換できます。
もしくは、設定ファイルに記録する値を、直接プログラムで使う値にしてもいいかもしれません。
（値のチェックは必要です）

Comments

[teamikl]

具体的に保守性に影響する部分を言及しておくと

対応するケースが増える場合、 例えば execute_ZZZ が追加された時、
基盤となっている部分のコードは、変更しなくても済みます。

execute_ZZZ.py に execute 関数を実装して、テストは execute_ZZZ.execute のみで済みます。
→ 既存のコードは変更しない為、既に検査済みの部分の再テストは発生しない。

[H.K2]

ご回答ありがとうございます！
そうです。ご指摘のようなことがやりたいイメージでした。ちょっとコード実行して確かめてみます。
基盤部分は変更せず、機能部分だけ差し替えたりなどでうまく管理できれば、という感じで思っていました。プラグインを扱うライブラリ、というのもあるのでしょうか。Googleで検索してみたのですが、あまりそれっぽいものが見つからなかったのですが、便利なものなどありますでしょうか。（今くらいのユースケースだと、プラグインなど使わず、自前で実装したほうが良いでしょうか。）

[teamikl]

具体的なところは、実際のユースケース次第なので、
第三者視点では判断しかねます。

プラグインの導入自体が保守性向上に直接繋がるわけではありませんが、
設計で適切にモジュールを切り分けられれば、変更のコストは抑えられます。
（プラグイン自体は、動的にモジュールを構成する為の手段という位置付けです）

保守性に影響する部分だと、
テストの自動化がどれくらい導入出来ているかの方が占める割合は大きそうです。

実装に関しては、
IDLE の extensions 等の実装を参考にしてみてはどうでしょう。
Python に付属の IDE で、idlelib 以下にサンプル idlelib/zzdummy があります。

https://docs.python.org/ja/3/library/idle.html ページ一番下IDLE 拡張
See the beginning of config-extensions.def in the idlelib directory for further information

- https://github.com/python/cpython/blob/main/Lib/idlelib/config-extensions.def
- https://github.com/python/cpython/blob/main/Lib/idlelib/extend.txt

Tkinter だと次点で参考に出来そうなのは Thonny
https://github.com/thonny/thonny/wiki/Plugins

----
プラグインシステムを提供するライブラリは、
py.test で使われてる pluggy や、openstack の stevedore 等。

(stevedore 導入は、パッケージ単位でプラグインを管理する事になるので
用途に対して「重たい」かも知れませんが、ドキュメントが詳しく書かれており
既存アプリケーションでのプラグインシステムの種類の調査等、
プラグインの仕組みを自分で構築する際も参考になりました）

もし、Web 系のフレームワークを触ったことがあるなら、
WSGI のミドルウェアのコンセプト等もプラグインシステムを構築する上で参考になります。

[H.K2]

ありがとうございます！
おっしゃる通り、確かにユースケース次第ですね。ご回答いただいた内容で、確かにできそうなので、
まずは小さく始めてみて、必要に応じて＋１していく形がよさそうですね。大変勉強になりました。

Answer 3

おはようございます。

問題文読ませていただきました。

一度以下のようにまとめて、

strParamTypeList = {
    '1': 'AAA',
    '2': 'BBB',
    '3': 'CCC',
}

toolSelectTypeList = {
    '0': 'XXX',
    '1': 'YYY',
    '2': 'ZZZ',
}


def execute_XXX(strParamType):
    print('execute_xxx')
    print(strParamType)


def execute_YYY(strParamType):
    print('execute_yyy')
    print(strParamType)


# パラメータ選択
strParamType = 'DEFAULT'
paramType = '2'
strParamType = strParamTypeList[paramType]

# ツール種別選択
toolSelectType = "YYY"
toolType = '0'
toolSelectType = toolSelectTypeList[toolType]

# 参考 : https://www.delftstack.com/ja/howto/python/python-call-function-from-a-string/
locals()['execute_' + toolSelectType](strParamType)

その後に、設定ファイルにまとめることを検討すると良さそうです。

ご確認のほど、よろしくお願いいたします。????‍♂️