pandasのto_excelでの並列処理のやり方がわかりません。

Question

前提

pythonのpandasでの並列処理をしようとしています。
うまくいかない為、ご教示いただけると幸いです。

実現したいこと

df_listには各データフレームが入っています。
dirnameはディレクトリ名。
データフレームをkeyの名前でエクセルとhtmlファイルにし、ディレクトリに保存したいです。
ディレクトリは、複数あります。

def save_to_file(dirname ,df_list):
    """
    エクセル保存して、profiledataとエクセルを保存する関数
    """
　 
    keys = ['A','B','C','D','E']
    if df_list is None:
        df_list = []
    

        for key,value in zip(keys,df_list):
            profile= pandas_profiling.ProfileReport(value,minimal=True,title = f'{key}_data')
            file = f'{key}data.xlsx'
            path_file = os.path.join(dirname,file)
            value.to_excel(path_file,index= False)
            profile.to_file(os.path.join(dirname,key+ '_test.html'))
           
if __name__ == '_main__':
    p = Pool(cpu_count())
    job_args = list(zip(dirname,df_list))
 
    list(p.imap(save_to_file,job_args))
    p.close()
    p.join()

発生している問題・エラーメッセージ

上記のコードかなと思いましたが、これでは、ディレクトリ名とデータフレームが多いというエラーがでます。
どうすればよいのでしょうか？
おそらく、save_to_file関数を修正する必要があるのですが、どう修正すればよいでしょうか？

試したこと

job_argsを作成や、引数をふたつわたした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

１つのジョブに必要な引数たちをtupleなりで一組にまとめたうえでリストに格納すればよいでしょう。
呼出先では引数を各変数に展開して利用すればよいです。

import pandas as pd
from multiprocessing import Pool
import os

def some_func(job_arg):
    dirname, key, df = job_arg

    file = f'{key}data.xlsx'
    path_file = os.path.join(dirname,file)
    df.to_excel(path_file,index= False)

    return key

if __name__ == '__main__':

    # テストデータ
    names = 'aaaaabbbbcccdde'
    df = pd.DataFrame({'name':list(names), 'v1':list(range(len(names)))})
    df_list = [df for name,df in df.groupby('name')]

    # ジョブ引数リスト
    dirname = './'
    keys = ['A','B','C','D','E'] # df_listサイズと同じ前提
    job_args = [(dirname, key, df) for key, df in zip(keys, df_list)]
    print(job_args)

    with Pool(3) as p:
        for ret in p.imap(some_func,job_args):
            print(ret)

Comments

[oobutamaru]

回答ありがとうございます。
出来ました。
非常に助かりました。