pythonでremotedisconnectedに対処したい

Question

pythonでBeautifulSoupを実行する際に希に発生するRemoteDisconnectedに対処したい

python3.6でWebスクレイピングをしています。
BeautifulSoupを用いてHTMLを取得し、データを処理する際に
RemoteDisconnectedエラーがでてしまいます。
これがでた際には処理をスキップ（値にErrorなどを返して次の処理に進む）する様な、判定を組み込みたいのです。
お力お貸し頂けませんか。

総数3万ほどのURLに対して連続して処理を行って行くもので、必ず現れるエラーでもないものの、エラーが出たタイミングで止まってしまうので
実行して放置が出来ません。

発生している問題・エラーメッセージ

 File "/Applications/anaconda3/envs/python36R/lib/python3.6/http/client.py", line 266, in _read_status
    raise RemoteDisconnected("Remote end closed connection without"

RemoteDisconnected: Remote end closed connection without response

該当のソースコード

def collector(URL):
    html=urlopen(URL)
    bsObj=BeautifulSoup(html,"lxml")#この行を実行後にエラーが出ます
    tex=bsObj.get_text()
    sleep(0.5)

以下、取得したデータへの処理が続きます。
    

試したこと

そもそも処理が早すぎるのかと

bsObj=BeautifulSoup(html,"lxml")#この行を実行後にエラーが出ます
sleep(0.5)

と、処理に間を置いてみましたがだめでした。

if bsObj =="":

や

if bsObj =="Remote end closed connection without"

などで判定できるかと試みましたが出来ませんでした
python公式（https://docs.python.jp/3/library/http.client.html）なども確認しましたが、対処法に繋がる有効な情報は得られませんでした。
そもそもこのエラーがでたときに、何という値にRemote end closed connection withoutが返されてきているのが分からないので対処がうまく出来ません。

何卒よろしくお願いいたします。

Answer 1

RemoteDisconnected は例外クラスですね。
https://docs.python.jp/3/library/http.client.html#http.client.RemoteDisconnected

チュートリアル にあるように、try、exceptを用います。

def collector(URL):
    html=urlopen(URL)
    try:
        bsObj=BeautifulSoup(html,"lxml")#この行を実行後にエラーが出ます
        tex=bsObj.get_text()
    except RemoteDisconnected:
        print("error!!")
        return

Comments

[nifch]

例外クラス　なのですね。
対処法が全く分からず困っていました。
チュートリアルの勉強不足でした。
大変助かりました。ありがとうございました！！！

[nifch]

すみません。
その後実行していたのですが、なぜかexceptが働かなくなってしまい
Errorを吐いて止まってしまいます。
また、spyderでコードを書いているのですが
undifined name 'RemoteDisconnected'
と警告が出ています
ソースコードを貼ります。

try:
bsObj=BeautifulSoup(html,"lxml")#この行を実行後にエラーが出ます
tex=bsObj.get_text()
except RemoteDisconnected:
print("error!!")

何かパッケージ等をimportする必要があるのでしょうか？

[nifch]

ベストアンサーを外してしまいすみません。

[umyu]

>nifchさんへ
横からですが、リンク先に記載がありますが。from http.client import RemoteDisconnectedが必要です。
あと相手サーバーに接続しているhtml=urlopen(URL)この部分もtryに含める必要があるきがしますが。。

[nifch]

>umyuさん
ありがとうございます。試してみます。