回答編集履歴
1
少し文面がきつかったので、訴えるという部分をブロックするという形へ変えました。
test
CHANGED
|
@@ -6,20 +6,26 @@
|
|
|
6
6
|
|
|
7
7
|
Librahack事件など、スクレイピングを行ったために逮捕された事例もあります(後に不起訴となりましたが、長期間拘留される事になりましたし、私生活に影響が起きています)
|
|
8
8
|
|
|
9
|
-
私も、もし定期的に自分のサイトにスクレピングを仕掛けて来る輩がいたら訴えます。
|
|
9
|
+
私も、もし定期的に自分のサイトにスクレピングを仕掛けて来る輩がいたら訴えないまでも、IPやユーザエージェント、アクセス間隔でブロックします。
|
|
10
10
|
|
|
11
11
|
スクレピングって結局、コンテンツ泥棒ですから、当然の反応でしょう。
|
|
12
12
|
|
|
13
13
|
|
|
14
14
|
|
|
15
|
+
これはスクレイピングされる側のサイトのポリシーによって反応が違いますので、スクレイピングをするなというのではありません。
|
|
16
|
+
|
|
15
|
-
|
|
17
|
+
もし、スクレピングをやるのであれば、最低限、常識の範囲でアクセスしてほしいと思います。
|
|
16
18
|
|
|
17
19
|
例えば、1秒に1回、2秒に1回など相手に負担を掛けない程度の間隔を空けてアクセスしてほしいです。
|
|
20
|
+
|
|
21
|
+
また、今回のようにコントローラにアクセスされたら、相手のサイトにスクレイピングする＝アクセスするといったリアルタイムのアクセスもやめて欲しいです。
|
|
22
|
+
|
|
23
|
+
|
|
18
24
|
|
|
19
25
|
データ収集はバッチで行い一度CSVなどに保存した上で、データベースに登録し、
|
|
20
26
|
|
|
21
27
|
自分のサイトでは、データベースから読み出して表示します。
|
|
22
28
|
|
|
23
|
-
データ収集は、
|
|
29
|
+
データ収集は、3か月に1回などそのくらいのペースで更新すればいいと思います。
|
|
24
30
|
|
|
25
|
-
と
|
|
31
|
+
あとは管理画面を用意して、手動で独自のデータも追加できるようにするといいですね。
|