flaskを使ったスクレイピングを行いたいです

Question

実現したいこと

./
├─ app.py ..... 実行ファイル

前提

以下のようなエラーメッセージが出てしまいます。
おそらくapp.pyとtest.pyがうまく連携できていないのが原因なのですが、原因がわかりません。

NameError: name 'list_1' is not defined

Comments

[退会済みユーザー]

スクレイピングは、サイトの管理者に許可を得ているとか、規約に従って専用の API にアクセスしているとかでなければ、迷惑行為になるかもしれないということは認識してますか？

クローラーを作って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例もありますので、甘く見ない方がいいと思います。

逮捕までいかなくても、被害が深刻な場合は損害賠償の訴訟を受けるかもしれません。

訴訟までいかなくても、アクセス遮断ならWeb サーバーの設定で可能なので、多分に可能性はあると思います。帯域ごと遮断され、あなたのやったことで多数の利用者が巻き添えを喰らうことになるかもしれません。

回答するのは迷惑行為の手助けをすることになるかも。

Answer 1

test.pyのget_url関数から呼出元のurl_list_001は見えないので提示エラーが発生します。
get_urlにはリストの添え字iではなくurl_list_001の要素、たとえばurl_list_001[i]を引数として渡すとよいかと思います。

Comments

[t.t.t.]

回答ありがとうございます。
joblib.delayed(get_url)(url_list_001[i])に変更し、
def get_url(list):に変更した場合、
TypeError: 'str' object is not callable
このようなエラーメッセージが表示されてしまいました。

[8524ba23]

引数を変えたら、関数の中身の処理もそれに合わせて適切に修正する必要があります。
具体的にどのように修正すべきかは難しくはないはずなのでご自身でよく考えてみてください。