回答編集履歴
2
追記1
answer
CHANGED
|
@@ -1,11 +1,18 @@
|
|
|
1
1
|
そうですね。
|
|
2
2
|
`firewall_block` みたいになっているので、なんらかのルールでブロックされたんでしょうね。
|
|
3
3
|
何度も何度も１秒間に10回とかそういう頻度でアクセスしていないならば、別に謝らなくても大丈夫だと思いますよ。
|
|
4
|
-
（そうだとしても、特段謝る理由はないですが、まあ、マナー違反みたいには思われます）
|
|
4
|
+
（そうだとしても、~~特段謝る理由はないですが~~、まあ、マナー違反みたいには思われます） → 禁止されているサイトはありますね
|
|
5
5
|
（頻度がDOS攻撃レベル、だとさすがに犯罪みたいになってしまいます)
|
|
6
6
|
（その境目は難しいですが...）
|
|
7
7
|
|
|
8
8
|
|
|
9
9
|
アクセスする頻度をある程度あけるとか、 (数秒に１回くらいならOKだとは思います。まあ、ブロックされることはありますが）
|
|
10
10
|
User-Agent を `python-requests/2.20.1` などではなく よくあるWebBrowserのものにする
|
|
11
|
-
などすると多少Blockされにくくなるとは思います。
|
|
11
|
+
などすると多少Blockされにくくなるとは思います。
|
|
12
|
+
|
|
13
|
+
-----------
|
|
14
|
+
|
|
15
|
+
■ 追記1
|
|
16
|
+
確かに dyoshikawa さんの指摘の通り、スクレイピングを明示的に禁止しているサイトはありますね。
|
|
17
|
+
そういうサイトは避けないといけないですね。
|
|
18
|
+
例) [Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止しています](https://www.yahoo-help.jp/app/answers/detail/p/546/a_id/93575/~/yahoo%21%E3%83%95%E3%82%A1%E3%82%A4%E3%83%8A%E3%83%B3%E3%82%B9%E6%8E%B2%E8%BC%89%E6%83%85%E5%A0%B1%E3%81%AE%E8%87%AA%E5%8B%95%E5%8F%96%E5%BE%97%EF%BC%88%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%EF%BC%89%E3%81%AF%E7%A6%81%E6%AD%A2%E3%81%97%E3%81%A6%E3%81%84%E3%81%BE%E3%81%99)
|
1
追記
answer
CHANGED
|
@@ -2,6 +2,7 @@
|
|
|
2
2
|
`firewall_block` みたいになっているので、なんらかのルールでブロックされたんでしょうね。
|
|
3
3
|
何度も何度も１秒間に10回とかそういう頻度でアクセスしていないならば、別に謝らなくても大丈夫だと思いますよ。
|
|
4
4
|
（そうだとしても、特段謝る理由はないですが、まあ、マナー違反みたいには思われます）
|
|
5
|
+
（頻度がDOS攻撃レベル、だとさすがに犯罪みたいになってしまいます)
|
|
5
6
|
（その境目は難しいですが...）
|
|
6
7
|
|
|
7
8
|
|