Python フォルダにある画像を別の２つのフォルダへ並列処理高速で移動させたい

Question

Pythonでフォルダにある画像を、並列処理して別のフォルダへコピペしたく思います。
しかし、コピペした画像が重複しております。

import time,shutil,glob
from concurrent import futures
from pathlib import Path

x_1,y_1=[],[]
input_dir = Path(r"")
r1=r"****"
r2=r"****"

r_1 = glob.glob(r1 + "\*.png")
r_2 = glob.glob(r2 + "\*.png")

t1 = time.time()

def func1():
  for path1 in r_1: 
    shutil.move(path1,r1 + "\" +  os.path.basename(path1) + ".png" )

def func2():
  for path2 in r_2: 
    shutil.move(path2,r2 + "\" +  os.path.basename(path2) + ".png" )

future_list = []
with futures.ThreadPoolExecutor() as executor:

        # タスクを追加する。
        future1 = executor.submit(func1)
        future1.setDaemon(True)
        future2 = executor.submit(func2)

        # Future オブジェクトを記録する。
        future_list.append(future1)
        future_list.append(future2)


t2 = time.time()

elapsed_time = t2-t1
print(f"経過時間：{elapsed_time}")

Comments

[TakaiY]

「コピペした画像が重複しております」 とありますが、このコードを実行するとどのような問題があるのでしょう？ 具体的に書いていただけますか。

[goki_gottan]

重複の時点で、十分な問題ですよね？文筋をご理解ください。

Answer 1

ファイル一個について二回づつ実行しています。

これを避けるには、以下のようにしてください。

    paths = list(input_dir.glob("**/*.jpg"))
    border, last = len(paths)//2, len(paths)-len(paths)%2
    for path1, path2 in zip(paths[:border], paths[border:last]): 
        # タスクを追加する。
        future1 = executor.submit(func1, str(path1))
        future1.setDaemon(True)
        future2 = executor.submit(func2, str(path2))

        # Future オブジェクトを記録する。
        future_list.append(future1)
        future_list.append(future2)
    if len(paths)%2 == 1:
        future3 = executor.submit(func2, str(paths[-1]))
        future_list.append(future3)

Answer 2

なにが問題なのかよくわかりませんが、ばっと見たところ、

def func1(path):
  shutil.move(a2,r1 + "\" +  os.path.basename(*) )

os.path.basename()となってますが、ののところはpathではありませんか？

        future1 = executor.submit(func1, str(path))
        future1.setDaemon(True)
        future2 = executor.submit(func2, str(path))

ここは同じファイルを2回moveしようとしていますが、意図どおりですか？

また、呼ぶ側で、str(path) としてしまっていますが、pathlib.Pathのまま渡せば、 path.name でファイル名が取れますよ。

Comments

[goki_gottan]

すみません。ちょっとコードに誤植があったと思います。
ありがとうございますが、そのあたりは問題になっておりません。
サイト表記時に誤記しました。