無限スクロールを採用すれば、定型文などが重複コンテンツになるを回避できる？

Question

下記の無限スクロールのように、別のhtmlファイルをスクロールイベントで、大本のhtmlファイルに非同期に読み込ませれば、クローキングになる可能性もほぼなく、かつ、大本のページに、追加したhtmlファイルの定型文は、存在しないようにクローラーは認識させられますか？

これを採用すれば、他のページの紹介文などの定型文が、重複コンテンツになる可能性もなくなってくれると考えて良いでしょうか？

https://www.suzukikenichi.com/blog/how-to-configure-search-engine-friendly-infinite-scroll/

もしそうである場合実装したいのですが、スクロールイベントを使ったDOM生成する程度ができれば簡単に導入できるレベルなのでしょうか？

Answer 1

回答しづらい質問だと思います。

質問に書かれている程度のことでクローキングになるとは考えにくいですが、Googleさん次第なので何とも言えないと思います。
定型文がフッターやサイドメニューに入っているのは普通だと思いますが、定型文のほうがコンテンツの大半を占めるなど、普通の程度ではない定型文でしょうか。

検索結果の2ページ目、3ページ目…を表示する場合なら「無限スクロール」だと思いますが、フッターや定型文を表示するために使うのは、技術的には同じことですが、なにか違うもののような気がしました。

実装はjScrollなどで、もしくは自作（scrollイベントで何とかする）でできると思います。

Comments

[退会済みユーザー]

お返事大変ありがとうございます。

数百ピクセルスクロールした時に、DOM生成する形でも多分クローキングにならないという事ですか？
それともリンク先のように、そのぺージでDOM生成するのではなく、他のページにして引っ張ってくる場合のみOKという事ですか？

また、定型文自体は合計で500文字ていどですが、WEBアプリなので、メインコンテンツに文字列がほとんどありません。これによって、定型文のほうがメインコンテンツの文字数より多くなってしまうという事です、

[4477]

検索エンジンに対してと人に対してで表示を意図的に分けているわけではないし、
スクロール時にその場にリンク先の内容を展開しているだけであれば、
そんなにお行儀の悪いことではないと思います。

メインコンテンツがほとんどない → メインコンテンツを検索にヒットさせることは考えていない → Googleに対しては、クロール不要、キャッシュ不要としておけば、重複コンテンツも何も考えなくてよいのかなと思いました。

[退会済みユーザー]

ほかのページの紹介文や、SNSのお願い、アプリの使い方解説など、どうしても同じ文言になる部分を重複コンテンツ扱いされないようおにするために、スクロールイベントを使って、表記時にはないようにして。クローラーに重複コンテンツの部分を見せないよにすることは、まずクローキングにならないという事ですね。

それなら大変な思いをして、リンク先のような実装をする必要がなさそうですね。

[退会済みユーザー]

アプリは、テキスト情報は少ない物のアプリとしてはちゃんと価値のある物なので、インデックスさせないことは考えていません。

[退会済みユーザー]

クイズアプリが上位表示せずに困っています。
クリック時にinnerHTMLで問題などが出るのでクローラーは、認識できていません。

よって、クローラーようにHTMLに直書きで、ズラッと問題などをliタグで並べています。
思い当たるのが、クイズの回答、ヒントなどをクローラー用にズラッと並べているだけなので、
クローラーは、意外にも人間がブラウザ上で見るように、ただの羅列と認識して上がってこないのかなと思います。

クローラーは、単語を確認しているだけでなく、ブラウザ上の見た目まで判断していると思いますか？

もしそうなら、liで並べているだけだからひょうかが当日だけで翌日から下がってしまうのかなと思っています。

[4477]

Webサイトがどんな状態になっているのかよくわからず想像で書いていますが、素直になるべく全部HTMLに含めるのがいいと思います。GoogleのウェブマスターツールでPCでの見た目やスマホだとどうなるなど調べられるので、単純にHTMLの文字だけを見ているわけではないと思います。

[退会済みユーザー]

検索エンジンは、単語を見ているだけではなく、人間がブラウザ上で見るように、認識しているということですね。

それでは人間が見ても問題ないようにしないと評価されないのですね。

ただズラッと並べただけではだめなのですね。