質問編集履歴
1
追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -22,6 +22,8 @@
|
|
|
22
22
|
|
|
23
23
|
上記の場合、User-agentがmsnbot, bingbotはすべてのクロールを禁止するという意味だと思うのですが、
|
|
24
24
|
|
|
25
|
+
msnbotがスクレイピングをしようとするとエラーが返ってきて、
|
|
26
|
+
|
|
25
27
|
ここに記載されていないUser-agentは許可になるのでしょうか？
|
|
26
28
|
|
|
27
29
|
|