Q&A
何もしなければインデックスされるとは初めて知りました。お恥ずかしい限りです。。
他の方はテストページをどう作っているのでしょうか。調べてみます。
ありがとうございます。
テスト用でレンタルサーバーを借りたのですが
googleに検索されたくないのでrobots.txtをディレクトリ直下に置いて
User-Agent: * Disallow: /
と記載しました。
各htmlの中には
<meta name="robots" content="index,follow" />
が入ったままなのですが、これも
<meta name="robots" content="noindex,follow" />
に変更しなければいけませんか？
本環境に上げるとき編集し忘れそうなのでここはそのままにしたいのですが、影響はありますか？
回答3件
0
followではなくnofollowではないでしょうか。
- [
Meta robots noindex/nofollow/noarchiveタグの使い方](https://www.suzukikenichi.com/blog/how-to-use-meta-noindex-nofollow-noarchive/)
本環境に上げるとき編集し忘れそうなのでここはそのままにしたいのですが、影響はありますか？
何を懸念されているのか分かりかねますが、テストと本番をわける必要があるのでしたら、例えば、テスト環境にはベーシック認証をかけるなどするのもありとは思います。
投稿2018/06/20 06:36
総合スコア80850
0
ベストアンサー
googleに検索されたくないのでrobots.txtをディレクトリ直下に置いて
Google の事は Google に聞きましょう。
<meta name="robots" content="index,follow" />
HTML
1<meta name="robots" content="index,follow" />
Google はこのタグを認識しません。
インデックスされるのは、何もしなければインデックスされるのが既定動作だからです。
なお、上記ページでGoogleは次のように説明しています。
重要: noindex ディレクティブが有効に機能するようにするために、robots.txt ファイルでページをブロックしないでください。ページが robots.txt ファイルでブロックされると、クローラは noindex ディレクティブを認識しません。そのため、たとえば他のページからリンクされていると、ページは検索結果に引き続き表示される可能性があります。
robots.txt
robots.txt の指示はディレクティブのみ
robots.txt ファイル内の指示は、サイトにアクセスするクローラの動作に対し強制力はなく、サイトにアクセスするクローラへのディレクティブとして機能します。Googlebot などの信頼できるウェブクローラは robots.txt ファイルの指示に従いますが、他のクローラも従うとは限りません。そのため、ウェブクローラから情報を継続して保護するには、サーバー上の非公開ファイルをパスワードで保護する方法など、他のブロック方法を利用することをおすすめします。
信頼できないbotは robots.txt を無視します。
また、botでなく、対人目線で見ても、URLを知られたら誰でもアクセス可能というのは、ブロック手段としては致命的な欠点になります。
Re: hati3693 さん
投稿2018/06/21 11:59
総合スコア18162
0
投稿2018/06/21 11:30
総合スコア3523
ありがとうございます。
これによるとrobots.txtのほうが優先なので
metaタグで何してもrobots.txtでブロックすればOKということですかね。
ただ同じページで使えないという…
テストページ作っているとき皆さんはどうしているんでしょう
ただ他の方も言うように
あくまでも私の解釈ですが、テストサイトでインデックスさせたくない場合は、robots.txtでのブロック設定も、metaタグでの「noindex,nofollow」設定の両方でも良いかと思います。
通常のサイトではmetaタグのみが良いと考えています。
途中で送ってしまっていました。失礼いたしました。
なるほど、metaタグのみのほうが良いという解釈なんですね。
テストサーバーの場合全てのページにmetaタグをつけていかなければいけないので、robots.txtのほうが楽ちんで良いと思っておりました…。勉強させていただきます。
実際のサイトでは、誰からいつリンクされるか不明で、そこからクロールされインデックスされる可能性があるので、各ページにmetaタグ設定が必要と考えています。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/06/22 05:16
2018/06/22 05:25
2018/06/22 05:44