pythonスクレイピング robots.txt

Question

前提・実現したいこと

スクレイピングを勉強していて、robots.txtという存在を知りました。

robots.txt 例

User-agent:msnbot
User-agent:bingbot
Disallow: /

上記の場合、User-agentがmsnbot, bingbotはすべてのクロールを禁止するという意味だと思うのですが、
msnbotがスクレイピングをしようとするとエラーが返ってきて、
ここに記載されていないUser-agentは許可になるのでしょうか？

あと、User-agentについて調べてもよくわからなかったのですが、
pythonでのスクレイピングはどのUser-agentとして扱われますか？

Answer 1

robots.txtはスクレイピングの許可，不許可を定めるファイルですが，それに強制力があるかどうかはわかりません．つまりエラーレスポンスが帰ってくる場合もあれば，不許可なのに普通にレスポンスが帰ってくる場合もあります．robots.txtを見るだけでは，サーバーがどのように実装されているかはわかりませんがマナーとして，不許可のところにはアクセスしないほうがいいです．

ユーザエージェントはスクレイピングの方法に依存しますが，自分で指定することもできるようです．（参考）

Comments

[tera12]

スクレイピングしたいサイトのrobots.txtは
User-agent:に19個の名前
Disallow: /　
のみでAllowが無かったので、禁止したいのかなとは思ったのですが、
それならUser-agent:*　とすればいいような気がします。
利用規約のページは存在しないので、不明です。

requestsでヘッダの変更ができるのは初見でした。
勉強になります。リンクを貼っていただきありがとうございます。