Pythonのmultiprocessingで、wavからmp3への変換を行いたい

Question

前提・実現したいこと

自宅にあるNASからスマホで音楽を聞くために、wavファイルをmp3ファイルに変換するPythonスクリプトを作っています。
はじめは逐次的に変換するコードを書いていましたが、非常に時間がかかるので並列処理に変えようとしています。

発生している問題・エラーメッセージ

最後まで変換されずに途中で終わってしまいます。
どの曲を変換しているかログを出すようにして実行したところ、マルチな子プロセスが変換処理を始めたログがでて数十秒後に何事もなくメインプロセスが終了します。
変換終了ログも出ていません。
期待値は「すべてのwavファイルがmp3ファイルに変換されること」です。

該当のソースコード

# transform_multiprocess.py
import os
import glob
import pydub
import multiprocessing
from datetime import datetime


# ファイル名をキューに登録する
def produce(queue, wavpath_list):
    for i in range(len(wavpath_list)):
        wavpath = wavpath_list[i]
        writelog(f'<Enqueue> {wavpath}')
        queue.put(wavpath)


# キューからファイル名を取り出して変換
def consume(queue):
    while not queue.empty():
        print(f'queue.isempty = {queue.empty()}')
        wavpath = queue.get()
        writelog(f'<Dequeue> {wavpath}')
        trans_wav_to_mp3(wavpath)


# wavからmp3に変換する
def trans_wav_to_mp3(wavpath):
    mp3path = wavpath.replace('.wav', '.mp3')
    writelog(f'Start transforming: {wavpath}')
    sound = pydub.AudioSegment.from_wav(wavpath)
    sound.export(mp3path, format='mp3')
    writelog(f'Finish transforming: {wavpath} -> {mp3path}')
    del sound


# ログファイル書き出し
def writelog(log):
    dt_now = datetime.now().strftime('%Y/%m/%d %H:%M:%S')
    pid = os.getpid()
        writelog(f'<Enqueue> {wavpath}')
        queue.put(wavpath)


# メイン
def main():
    # wavファイルのリスト
    wavpath_list = glob.glob(
            'NAS用HDDのマウントポイント/*.wav',
            recursive=True
    )
    # ファイル名を格納するキュー
    queue = multiprocessing.SimpleQueue()

    # プロセス生成
    p = multiprocessing.Process(target=produce, args=(queue, wavpath_list))
    c0 = multiprocessing.Process(target=consume, args=(queue,))
    c1 = multiprocessing.Process(target=consume, args=(queue,))
    c2 = multiprocessing.Process(target=consume, args=(queue,))
    c3 = multiprocessing.Process(target=consume, args=(queue,))

    # プロセス開始
    p.start()
    c0.start()
    c1.start()
    c2.start()
    c3.start()

    # プロセス終了待ち合わせ
    p.join()
    c0.join()
    c1.join()
    c2.join()
    c3.join()


# main
if __name__ == '__main__':
    main()

試したこと

プロセス数をいろいろ変えてみましたが、変わらずでした。

補足情報

Python 3.7.3
OS：Raspbian Buster

（あまり質問を投げたことがないので、情報不足がありましたらすみません...）

Comments

[meg_]

メモリ不足の可能性はありませんか？

[moootoko_ojisan]

指摘ありがとうございます。
メモリ使用量を表示させて様子を見ようと思います。

Answer 1

以下のソースコードで解決しました。
ありがとうございました。

# trans_wav2mp3_multi.py

import os
import glob
import pydub
import multiprocessing
from datetime import datetime


# wavからmp3へ変換
def trans_wav_to_mp3(wavpath):
    mp3path = wavpath.replace('.wav', '.mp3')
    writelog(f'Start transforming: {wavpath}')
    sound = pydub.AudioSegment.from_wav(wavpath)
    sound.export(mp3path, format='mp3')
    writelog(f'Finish transforming: {wavpath} -> {mp3path}')
    del sound


# 自分用ログ出力
def writelog(log):
    dt_now = datetime.now().strftime('%Y/%m/%d %H:%M:%S')
    pid = os.getpid()
    text = f'[{dt_now}({pid})] {log}'
    print(text)
    with open('log.txt', mode='a') as f:
        f.write(text+'\n')


# メイン
if __name__ == '__main__':
    # wav file list
    wavpath_list = glob.glob(
            'NAS用HDDマウントポイント/*.wav',
            recursive=True
    )

    # multi processing
    with multiprocessing.Pool(4) as p:
        p.map(trans_wav_to_mp3, wavpath_list)

実行中のCPU、メモリの様子は画像のとおりです。
期待通りフルパワーで変換してくれました。
メモリは意外と余裕があったようです。

Answer 2

キューにアイテムを投入するプロセスとキューから取得して処理するプロセスを同時に起動しています。 また、処理するプロセスはキューが空だと停止するようになっています。
キューにデータが入る前にキューが空で終了してしまっているのではないでしょうか？

この問題のように、処理するデータのリストがあらかじめ決っていて、それを並列処理するのであれば、poolを使って処理するのが簡単なのではないかと思います。

未検証ですが、以下のような感じです。

import multiprocessing
import glob

wavpath_list = glob.glob(
    'NAS用HDDのマウントポイント/*.wav',
    recursive=True
)

with multiprocessing.Pool(processes=4) as pool:
        pool.map(trans_wav_to_mp3, wavpath_list)

、

Comments

[moootoko_ojisan]

コメントありがとうございます。

ログの順番と実際の処理の順番は、必ずしも同じとは限らないということですね。
Enqueueのログが最初にバーっと出て、その中にDequeueのログが混ざっている状態でしたが、もしかしたらDequeueが最初に行われたかもしれないと考えました。

Poolの方法で試してみたいと思います！