Q&A
追記について
どうなるかはわからないので私なら詫びのメールを入れます。
pythonにてスクレイピングによる演習をしていたところ、下記のようなレスポンスがありました。
<span class="logo-neartext">Website Firewall</span>
特に連続的なスクレイピングをしたわけではないのですが、これは攻撃とみなされ拒否されてしまったのでしょうか？
だとしたら、サイトに対してどうにかして連絡を取り、謝罪等した方が良いのでしょうか？
初めての経験で不安になり質問させて頂きました。
回答4件
0
投稿2019/08/13 05:01
編集2019/08/13 05:05
総合スコア8947
0
規約で禁止しているところが多いと思います。
例えばGMOクリック証券の下記の文書では法的措置をとるとあります。
投稿2019/08/12 15:29
退会済みユーザー
総合スコア0
0
スクレイピングを作成する前にそのサイトが許可しているかどうか確認します。
・robots.txtで対象がDisallowになっていたらスクレイピングしない
・HTTPヘッダーやmetaタグ、aタグにて nofollow があればスクレイピングしない
これらをパースするライブライもあるようです。
サイトが許可していても、「このリンクはフォロー禁止（nofollow）」ということもあるようです。
投稿2019/08/13 02:58
総合スコア10995
0
ベストアンサー
そうですね。
firewall_block みたいになっているので、なんらかのルールでブロックされたんでしょうね。
何度も何度も１秒間に10回とかそういう頻度でアクセスしていないならば、別に謝らなくても大丈夫だと思いますよ。
（そうだとしても、特段謝る理由はないですが、まあ、マナー違反みたいには思われます） → 禁止されているサイトはありますね
（頻度がDOS攻撃レベル、だとさすがに犯罪みたいになってしまいます)
（その境目は難しいですが...）
アクセスする頻度をある程度あけるとか、 (数秒に１回くらいならOKだとは思います。まあ、ブロックされることはありますが）
User-Agent を python-requests/2.20.1 などではなく よくあるWebBrowserのものにする
などすると多少Blockされにくくなるとは思います。
■ 追記1
確かに dyoshikawa さんの指摘の通り、スクレイピングを明示的に禁止しているサイトはありますね。
そういうサイトは避けないといけないですね。
例) Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止しています
投稿2019/08/12 15:25
編集2019/08/12 15:35
総合スコア948
追記について
どうなるかはわからないですが、現在の状況なら私なら特に何もしないです。
※ Teratailのように人目につく場所でのコメントとしては不適切（無責任）かもしれないです
※ 最終的な判断は、ご自身でなさってください。あくまで「私は」の話です。
理由としては「スクレイピング(プログラムによるWebアクセス)自体が違法というわけではない」からです。
ですが、注意事項として、以下のように思います。
- スクレイピングした結果の使い方によっては著作権に抵触する
- 高負荷になる場合は、不正アクセス系?の法律に抵触する
- 契約でスクレイピングを禁止していて、契約を締結したのに実施してしまった場合は契約違反なので当然法的措置がありえます(が、今回はそういうケースではない)(dyoshikawaさんの挙げているケースに近いかな。それは自動売買プログラムについて、のようですが、スクレイピングについての規約がある場合もあるでしょう)
- Yahooのようなケースは「禁止」というより「お願い」に近いですが、これを無視するのはマナー違反なので、やってしまったら謝る方がいいかもしれない(別に気にもしてないと思いますが)
- robots.txt についての強制力は http://blogs.wankuma.com/tyappi/archive/2010/09/20/193072.aspx などの説明が参考にはなるかと(これが正しいとは限らないとも思いますが)
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。