pythonでthreadingを使って無限ループの関数を並行処理させたいが途中でシャットダウンする

Question

pythonのtwintを使ってtwitterをスクレイピングするプログラムを実行しています。
1000tweetずつスクレイピングして、jsonファイルとして出力させる関数を5つfor文で回す仕組みです。
1つの関数の処理が終わるのを待たずsleep(5)で次の関数を走らせたいので、今回threadingを採用してみました。
途中まではうまくいくんですが、最初の方でシャットダウンしてしまいます。
ご教示お願いいたします。

import twint
from datetime import datetime
import shutil
import time
import threading

def scraping(n):

    def gettweet(n):
        nowdate = datetime.now()
        strdate = "{0:%Y-%m-%d %H:%M:%S}".format(nowdate)
        c = twint.Config()
        c.Limit = 1000
        c.Search = 'lang:ja'
        c.Store_json = True
        namedate = "{0:%Y%m%d%H%M%S}".format(nowdate)
        strfilename = 'result' + namedate + '_' + str(n) + '.json'
        c.Output = strfilename
        twint.run.Search(c)
        return strfilename

    while True:
        filename = gettweet(n)
        shutil.move(filename, 'temp/')

for i in range(1, 6):
    sc = threading.Thread(target=scraping, args=(i,))
    sc.start()
    time.sleep(5)

エラー内容

RuntimeError: cannot schedule new futures after shutdown

やりたいこと
scraping(1)→無限ループ
処理待たずにscraping(2)→無限ループ
処理待たずにscraping(3)→無限ループ
処理待たずにscraping(4)→無限ループ
処理待たずにscraping(5)→無限ループ

Answer 1

普通はjoinで待ちます。

threadlist = []
for i in range(1,6):
    sc = threading.Thread(target=scraping, args=(i,))
    sc.start()
    threadlist.append(s)
    time.sleep(5)

for th in threadlist:
    th.join()

Comments

[unisara]

ありがとうございます！
希望通りの挙動が確認できました。
そしてthreadingのオブジェクトを配列へ追加する意味がわからなかったのですが、初めて理解できました。
勉強になります。

Answer 2

そもそも、

for i in range(1, 6):

のループが終わったら終了しますね

Comments

[unisara]

def scraping(n):
の中で無限ループする仕組みになっています。

あ、もしかして単純にプログラムが終わるからthreadも強制シャットダウンしてしまうってことでしょうか？

[y_waiwai]

それ、別スレッドで実行させてるんでしょう。
そこで終了待ちなんかしませんよ

[y_waiwai]

そのforが終わったあとで無限ループさせてみては