Q&A
状況がよくわかりませんが、手動でブラウザを操作して、3時間放置？？した後ではうまく行くのでしょうか？Seleniumから起動したブラウザーと、手動で起動したブラウザーで環境が異なる可能性もあるので、両方のケースで手動で操作してみましょう。
手動で出来ないことはSeleniumでも出来ません。手動でうまく行くならSeleniumでも工夫すれば出来るかもしれません。
プログラミング初心者です。
Chrome driverを用いてSeleniumでWebサイトのスクレイピングを行なっています(beautiful soupを使用)が、一定時間(3時間以上)経つとHTTP Error 400:Bad Requestとなり困っております。headersでUser agentも記載しております。
一定時間経ってもそのサイトのメインページは問題なく表示されますが、スクレイピングしたい対象のページでは400Errorとなります。
time.sleep()を用いて、サーバーに負荷がかからないようにしており、1ページにつき5秒くらいはかかっておりますが、制限されてしまいます。
パソコン以外の端末では読み込めます。
サイト自体はスクレイピングは禁止されておりませんが、サーバーに負荷がかかる場合は制限されるとの趣旨で記載があります。
ご教示願います。
ありがとうございます。
スクレイピングが莫大な量で負荷がかからないように10時間ほどかけて行うのですが、2,3時間ほどでブロックされてしまい、諦めて放置して数時間経って再度行うと解除されており、またできるようになります。おそらくサーバーに負荷がかからないようにブロックされてしまうと思うのですが、方法はないのでしょうか。
手動でそうなると言うことでしょうか？であれば、Seleniumとは関係ない話ですね。
まずは、手動でうまく行く方法を考えましょう。
ありがとうございます。
お礼は良いのですが、「手動でもそうなるのか？」とYES/NOで簡単に回答できる質問になぜ答えないのでしょうか？
大変失礼致しました。
こちらのサイトの利用が初めてで、otn様の回答を知恵袋のようにアドバイスとして受け取らせていただく回答だと考えておりました。
プログラミング初心者で手動についてよく分かっておりませんが、一定時間スクレイピングを続けて、サーバーに制限をかけられた場合は手動でサイトを開いても、スクレイピングを行っても400エラーとなります。一定時間経つと制限が解除され、解除されている場合は手動でサイトを開いても、スクレイピングをしてもデータを取ることは可能です。スクレイピングの時間、またはアクセス回数が多くなると制限されてしまうようです。
回避する方法はないのでしょうか。
このサイトが初めてとか経験があるとかじゃなくて、どんな回答を、どれくらい真剣に求めているのかですね。
そういう意味では、「過去に赤の他人に相談したことがあるかどうか」という経験は関係するかも知れません。
説明が不足している質問に回答しようとすると、
「もし～～ということであるなら～～～という方法が良い」
のような条件付きの回答にならざるを得ず、
「もし～～ということであり、かつ、～～～ということであり、～～がやりたいことなら～～～」
のように、複数の条件を場合分けして沢山の回答案を書くなどは回答者としては現実的ではありません。
ということで、詳細説明を追加してもらわないと回答できないので質問するわけで、回答がないと先に進みません。「回答しない」＝「先に進まなくていいという意思表示」ですね。
「もし～～ということであるなら～～～という方法が良い」が役立つ回答になっているかどうかもわからない。
または、「詳細不明なので、一般論での回答となりますが～～～」とかの回答になりますね。
「自分のケースでどうすればいいかという具体的な回答は不要で、一般論だけ聞ければ、自分のケースについては自分で考える」ということなら、詳細説明無くこの質問文程度で良いのですが、そういうことだったということですかね。
一般論では、「手動でうまく行く方法を考えましょう」ですね。
回答1件
0
ベストアンサー
Chrome driverを用いてSeleniumでWebサイトのスクレイピングを行なっています(beautiful soupを使用)が、一定時間(3時間以上)経つとHTTP Error 400:Bad Requestとなり困っております。headersでUser agentも記載しております。
一定時間経ってもそのサイトのメインページは問題なく表示されますが、スクレイピングしたい対象のページでは400Errorとなります。
time.sleep()を用いて、サーバーに負荷がかからないようにしており、1ページにつき5秒くらいはかかっておりますが、制限されてしまいます。
そのサイトの利用規約ではスクレイピングは禁止されていない、ということでしょうか？
もしも禁止されているならブロックされても仕方ないでしょう。
「サーバーに負荷がかからないようにしており」というのはスクレイピングが禁止されていない場合の配慮にすぎません。
まずはAPIの提供がないか確認しましょう。
もしも学術目的などであればサイトに相談することでスクレイピングが許可されることもあるようですので確認されると良いかもしれません。
投稿2024/11/23 13:05
総合スコア10769
ありがとうございます。
スクレイピングの行為自体禁止はされておりません。「弊社サービスに対して支障があると判断した場合は、通信制限をかけさせていただくことがございます。」とのことです。
1ページあたりにかける時間を多くするしか方法はないのでしょうかね。。。
> スクレイピングの行為自体禁止はされておりません。
そうなんですね。自動化された手段による行為を禁止しているサイトが現在は多い印象でしたので意外です。そのこと（スクレイピング禁止でないこと）を質問本文に明記されると回答が付きやすくなるかもしれません。
ありがとうございます！
サーバーに負荷がかからないようにtime.sleep()の時間を長くして、連続アクセスとならないようにコードを修正したらスクレイピングできました。ご迷惑おかけしました。ありがとうございました。
あなたの回答
tips
プレビュー
