検索エンジンの結果からディレクトリを省きたい

Question

初心者です

つい先日、〜xdomain.jp と 〜xdomain.jp/mobile というフォルダ分けをしてWebページをXdomainサーバーにアップロードしました。〜xdomain.jp にはPC用HTMLを、 〜xdomain.jp/mobile には携帯端末用HTMLを置きました。

そこで検索をかけたところ、〜xdomain.jp/mobile まで検索結果に出てきてしまいました。
/mobile へは .htaccess を使ってディレクトリ移動したかったので、

この結果は表示されないようにしたいのですが、このようなディレクトリが検索結果に表示されないようにするためにはどのようにすればよいでしょうか？

Answer 1

こんにちは、その他の方法としてはrobots.txtを使う方法もあります。具体的には、
robots.txtに以下のように記述します。
User-agent: *
Disallow: /mobile/

こうすることでGoogleのクローラーはPC用のページしかインデックスしないようになります。

Comments

[yuckey8]

回答ありがとうございます。
そのような方法があることを初めて知りました。本当に感謝しています。
ですが、それでは強制力はないということでしたので、今回はnoindexで設定しました。
返答が遅れてしまいすみません。本当にありがとうございました。

Answer 2

mobile側のHTMLに以下のようにcanonical設定をすると重複ページであると検索エンジンに知らせることができます

<link rel='canonical' href='〜xdomain.jp' />

Comments

[yuckey8]

回答ありがとうございます。

少し調べてみたのですが、そちらの方をすべてのファイルに記述すれば
<meta name="robots" content="noindex" />
といった記述がなくても、無条件に〜xdomain.jp/以外が検索結果として出ることはないのでしょうか？

[popobot]

重複ページの排除が目的であれば、noindexはいりません。そもそもPC版ページを検索エンジンにインデックスしてほしくないならnoindexを使います。

なお、canonicalのhrefは、そのモバイル用ページとコンテンツが同一のPCページを記載するので、ページごとにhrefの値は変わると思いますので、ご注意ください。

[popobot]

あと、PC版サイト側にはalternate属性を設定があるとさらにいいと思います。参考に
https://www.suzukikenichi.com/blog/building-websites-optimized-for-smartphones-and-feature-phones/

[yuckey8]

サイトまで提示していただきありがとうございます。
どうやらcanonical属性の仕様を勘違いしていました。

今回、PC版のページだけ検索結果に表示させて、そこから端末がスマホならそちらのURLにJSでリダイレクトするという形を取りました。またcanonical属性、alternate属性の方も用いました。
返答が遅れてしまいすみません。本当にありがとうございました。