「requests」「urllib」のスクレイピングがバレるバレないについて

Question

スクレイピングで使われる
python のモジュール「requests」「urllib」の違いを
調べてみましたが、いまいちわかりません。

https://www.torikun.com/entry/scraping-law/#i-10
こちらのサイトを参照すると
真ん中あたりの項目の
「スクレイピングをバレないようにするための４つの方法」で

「urllib」でスクレイピングすると
サイト側のスクレイピングしたことが知られてしまう。

「requests」でスクレイピングすると
ばれないと書いてあります。
これって本当にそうなんでしょうか？

もしサイト運営する際にスクレイピングを禁止したとしても
意味がなくなってきませんか？

簡単でも差支えありませんので
教えていただけると幸いです。
よろしくお願いいたします。

Comments

[K_3578]

バレないんじゃなくてあからさまに機械がやってるのをバレないようにするためにそうやってるんだと
思いますけど。requestにしたところで絶対にバレないなんて事は無いです

[quickquip]

> ばれないと書いてあります。
これは質問者さんの解釈で、そう書いてあるわけじゃないと思います。
こういった質問は正確に引用した上で、このように書いてあってこう解釈したが合ってますか? という書き方の方がいい（≒回答がつきやすい）と思います。

[tacsheaven]

例え手作業によるものであろうとも、スクレイピングかどうかは（Web サーバへのアクセスログから）分かると思いますがねえ。普通の人のクロールとは違ってきますから。

Answer 1

違い

urllib はPythonの標準モジュールです。

requests は urllib よりも人間にとって使いやすいように開発されたサードパーティのモジュールです。

これって本当にそうなんでしょうか？

記事を拝見しましたが、記事内容は正確ではないでしょう。

https://docs.python.org/ja/3/howto/urllib2.html#headers

urllib でもヘッダを変更することはできると思います。

そもそも、該当部分でいう「バレないようにする」というのは単に UserAgent を書き換えて一般のクライアントと判別しにくくするだけのことでは？

（追記）

あくまでも urllib での例がないだけで、requests ならバレないとはどこにも書かれていませんね