poolによるurlのリスト、スクレイピングの関数を並列処理させる方法

Question

複数のページから取得した値をcsvファイルへ出力する関数を作成しました。

『複数のページのURLをまとめたlist』をall_urls
『値の取得、list(csv_list)へ代入する関数』をscrapeとし、
poolにより並列処理(pool(scrape,all_urls))を行いたいと思いますが、上手く稼動しません。並列処理をしなければ上手く稼動します。

稼動させる方法についてご教示いただけたら幸いです。

import requests
from bs4 import BeautifulSoup
import xlrd
import openpyxl
import time
import pandas as pd
from multiprocessing import Pool,cpu_count

all_urls = ['https://domain.com/a','https://domain.com/b','https://domain.com/c','https://domain.com/d']

csv_list = []

def scrape(url):
    time.sleep(1)
    response = requests.get(url)
    response.encoding = response.apparent_encoding
    soup = BeautifulSoup(response.text, 'html.parser')
    atag = soup.find('span',{"class":"A"})
    answer = atag.text if atag else 'none'
    csv_list.append(answer)

if __name__ == "__main__":
    n = cpu_count()
    p = Pool(n)
    p.map_async(scrape,all_urls)
    p.terminate()
    p.join()

df = pd.DataFrame(csv_list)
df.to_csv('Downloads/test.csv',encoding = 'utf-8-sig')

Answer 1

forkした先のプロセスでcsv_listに追加されているでしょうが、Pool.map_asyncの呼び出し元には影響しないのです。返り値として情報を返す工夫が要ります。

とはいえ、そもそもスクレイピングでプロセスまで立てて並列化したい理由がよくわかりません。高速化目的であれば相手先サーバに迷惑がかかりますし、複数のサイトを同時に叩きたいのなら（そういうケースではなさそうですが）スレッドで十分です。

Comments

[youri0326]

ご丁寧にご回答いただきありがとうございます。ご指摘いただいた通りのことを試みてみます。

[hayataka2049]

並列処理しなくてもループで十分では？

[youri0326]

ループでも試してみます。ご指摘ありがとうございます。