回答編集履歴
1
調整
test
CHANGED
|
@@ -1,23 +1,27 @@
|
|
|
1
|
-
Disallow は直訳すると「禁じる」
|
|
2
|
-
|
|
3
|
-
|
|
1
|
+
# ちょっと解釈を間違っていました。回答参照しないようにお願いします（一応、調整中です）
|
|
4
|
-
|
|
5
|
-
CSSなんかでも全ての要素に指定したい場合は```*{}```と書きますね。
|
|
6
2
|
|
|
7
3
|
|
|
8
4
|
|
|
9
|
-
|
|
5
|
+
~~Disallow は直訳すると「禁じる」~~
|
|
10
6
|
|
|
11
|
-
|
|
7
|
+
~~User-agent の指定値は * これはワイルドカードで、他に何もなければ「全て」です。~~
|
|
8
|
+
|
|
9
|
+
~~CSSなんかでも全ての要素に指定したい場合は```*{}```と書きますね。~~
|
|
12
10
|
|
|
13
11
|
|
|
14
12
|
|
|
15
|
-
|
|
13
|
+
~~つまり、「全てのユーザー（のクロール）を禁じる」という意図の指定になります。~~
|
|
16
14
|
|
|
17
|
-
|
|
15
|
+
~~参考：[robots.txtの書き方-基本形式の記述](https://seolaboratory.jp/41315/#p02)~~
|
|
18
16
|
|
|
19
|
-
つまり、このDisallow 指定が効いているがためにクローラーサイト経由でのアクセスができなかったものと思われます。
|
|
20
17
|
|
|
21
|
-
とりあえずクロールさせたいのであれば、robots.txtは不要かと思います。
|
|
22
18
|
|
|
19
|
+
~~提示の2サイトがどのように回ってサイト内容を解釈しているかの仕組みはわかりませんが、~~
|
|
20
|
+
|
|
21
|
+
~~クローラーと同様の機能と思います。~~
|
|
22
|
+
|
|
23
|
+
~~つまり、このDisallow 指定が効いているがためにクローラーサイト経由でのアクセスができなかったものと思われます。~~
|
|
24
|
+
|
|
25
|
+
~~とりあえずクロールさせたいのであれば、robots.txtは不要かと思います。~~
|
|
26
|
+
|
|
23
|
-
ひとまず確認できたら[robots.txtの書き方-クロールを許可する](https://seolaboratory.jp/41315/#p02c)にあるように個々に制限・許可を指定していけば良いです。
|
|
27
|
+
~~ひとまず確認できたら[robots.txtの書き方-クロールを許可する](https://seolaboratory.jp/41315/#p02c)にあるように個々に制限・許可を指定していけば良いです。~~
|