例えば、index.htmlというファイルがあり、検索結果にも出るようなファイルがあったとします。
これの拡張子を変更し、index.hogehogeに変えます。
元のhtmlファイルはなくなり、代わりにでたらめの拡張子のファイルがある状態です。
公開状態なのでindex.hogehogeでURLを叩けばファイルのコードは表示されます。
このような状態のファイルをGoogleロボットは巡回にきてインデックスしますか?
Googleロボットはrobot.txtで指定されていない条件のファイルはどのような判断でインデックスしているのでしょうか?
noindexなどの知識はありますが、この辺りのロボットの判断基準が理解できていません。
Google公式にこの件について分かる解答リンクがあれば教えてください。
※注意:アクセス制限の仕方等については質問していません。
※追記1:「Googleロボット」と書きましたがクローラー全般を対象にした一般的(多数派)な動作を知りたいです。
回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/07/24 01:41
2018/07/26 01:09