python2.7を使ってスクレイピングを行っております。
スクレイピング中に起こる2つの問題の原因がわからず困っております。
環境:
Mac OS 10.9 / Python2.7
(1)urllib2.HttpErrorに関して。
時々、次ようなエラーが出て、スクレイピングが終了してしまいます。
urllib2.HTTPError: HTTP Error 500: Internal Server Error
このエラーがどういった時に起きるのか教えて頂きたいです。
(2)クローリングが止まる。(フリーズする)
スクレイピングは20秒間隔で、Webサイトにアクセスしスクレイピングしております。
ターミナルからスクリプトを実行し、
1]取得を始めます。(という文字をターミナルにprint)
2]——取得処理---
3](取得完了後)取得を完了しました(とターミナルにprint)
これを20秒間隔で繰り返しスクレイピングしております。
ここで言う、クローリングが止まる(フリーズする)というのは、
本来1]に20秒かかり、2]で取得処理に入るのですが、
20秒以上たっても(10分ほど待ってみました。)
1]のままです。
(1)、(2)も原因が解らず困っております。
どなたか何か原因知っている方いましたらアドバイス宜しくお願い致します。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。