エラー内容を解決してほしい

Question

yahooのサイトに何百回かアクセスしてxml情報を取得するプログラムを作っていましたが、
数回xmlの情報を取得した後

Server returned HTTP response code: 999 for URL:「サイトのURL」
at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)

このようなエラーを出して、そのあと一定時間一回もxml情報を取得してくれません。

短時間でyahooに何度もアクセスしたことによるアクセス拒否をyahooから受けているのでしょうか？
エラーを検索してもなかなかこのエラーが出ている理由が分からないのでエラー内容と解決方法をご存知の方は教えてください。

Answer 1

きちんとお作法を守って節度あるアクセスを心がけていますか？？

そのあと一定時間一回もxml情報を取得してくれません。

というのは、アクセス制限を受けているからだと思います。

以下、ご参考まで。

Webスクレイピングの注意事項一覧

Comments

[inakaga883]

節度あるアクセスは心がけていなかったかもしれません。
ただ、1年前に同じようなシステムを使いましたが、その時は何も制約を受けずに何百回もアクセスできたのに、今使うとエラーが出るので方針が変わったのかなと思いました。

Answer 2

yahoo への http アクセスに対するレスポンスコード 999 について
英語ですが以下のサイトで説明されてました

Errors and HTTP Response Codes
What is error code 999 on Yahoo?

私は英語が得意ではないのですが、さらっと読んだ感じでは「httpリクエストが一定の制限数に達した」ということでよさそうです

まぁ、確かに私がサーバ管理者でしたら、短時間に何百回もアクセスしてくるようなIPを放っておかないですね・・・

Comments

[inakaga883]

確かに何百回もアクセスしてくるのはほおっておかないかもしれませんね。
研究で使いたいことだったのでちょっと困りましたね。