pythonでリンク先のデータを取得するにはurlopenで行う？（これまではwgetを実行していました）

Question

pythonでリンク先のデータを取得する際に下記のように記述しました。
リンク先のurlが404エラーになることもあり、エラー処理を記述しました。

try:
 result = urllib.request.urlopen('http://www.example.com/'+data)
 result = result.read().decode('utf-8').strip()
except urllib.error.HTTPError as e:
 result = ''
print(result)

参考:https://hibiki-press.tech/python/urllib_request_module/2019

これまではリンク先のデータの取得はwgetコマンドをpython内で実行していました。

通常はどちらの方法を使うものでしょうか？
メリット、デメリットはあるのでしょうか。

Answer 1

wgetの機能が必要ならwgetを使うし、
単一のURLが示すデータを取得するだけならurllibでいいし、
python標準以外のモジュールが自由に使えるならrequestsの方が楽だし、
本格的なクローリングならscrapyを使った方が自分でコードをガリガリ書くより結局楽だったりもする。

やりたいことと制約を明らかにした上で手段を選ぶのが普通なのであって、一般論として"普通はこれを使う"などということがあると思っているのが間違い。

ただ、"だいたいはこれで済む"というのは確かにあって、それでいうならrequestsが第一候補かな、と思います。

Comments

[taro373]

今回は404エラーがまれに発生する、それを検知したかったので、
これでよかったのかと理解しました。

確実にあるデータを単に取得するならwgetでもいいのですね

Answer 2

wget で用が足りているなら、それでいいんじゃないでしょうか