python webスクレイピングの並列処理

Question

お世話になります。python 3 初心者です。

pythonを使って、株価やFXのレートをリアルタイムでwebスクレイピングしたいのですが、
いくつかのページのレスポンスが遅く、ちょっとずれたレートになってしまいます。
そこで、並列処理をしながら、
速く取れたデータは、レスポンスの遅いページのデータが取れるまで破棄して取り直す、といったことをしたいと考えております。
threadingかmultiprocessingで処理したいと考えておりますが、どのように書けばよいか、イメージを教えていただけないでしょうか。

個人的には、遅いほうの処理の終わりの部分にフラグを立て、フラグが立つまで速いほうの処理を繰り返す、、、といったことを考えていますが、可能でしょうか？

Answer 1

api を利用するのが現実的だし一般的です。

Comments

[nakasan0910]

回答ありがとうございます。
apiも念頭においておりますが、それでもレスポンスの速度が違うことが多くないですか？場合によっては、10秒近く待たされることもあり、できるだけ同期したレートを取りたいと考えております。

[退会済みユーザー]

ネットワークの遅延のことを気にしているのであれば、専用線接続を提供しているレート配信業者を選べば、ブレは極小化出来ます。

[nakasan0910]

そうですね、その点を考えて見ます。ありがとうございました