スクロールによるブラウザ自動読み込みサイトのhtml取得方法

Question

こちらのサイトやtwitterのように
スクロールするとコンテンツが表示されるサイトのページ全てのhtmlを取得したいです。
つまり最後までスクロールしたときのhtmlが欲しいというわけです。

どうすれば実現できますか？

Answer 1

対象ページが無限スクロールをどうやって実装してるかを解析してうまくやる、、ですかね。
たとえば
http://www.html5-memo.com/sample/jq-books/07/index.html
だと、
http://www.html5-memo.com/sample/jq-books/07/page-2.html
http://www.html5-memo.com/sample/jq-books/07/page-3.html
のように、次のページがとれるので、「page-x.html」の箇所をループで動的に変えて取得するとか。

Comments

[退会済みユーザー]

ご回答ありがとうございます。
どのようにして「page-x.html」の箇所があると分かったのでしょうか？

[lightwill]

右クリックして「このページのソースを表示」（chromeの場合）を押すと、htmlソースを確認できます。
<div class="navigation">
<p><a href="page-2.html">Next</a></p>
</div>
こんな記載があるので気づきました。

<script src="http://code.jquery.com/jquery-1.10.1.min.js"></script>
<script src="js/jquery.lazyload.min.js"></script>
<script src="js/jquery.infinitescroll.min.js"></script>
<script src="js/script.js"></script>
こんなjsが読み込まれているので、jquery.infinitescroll.min.jsってライブラリで無限スクロールをしていると推測できます。
js/script.jsの中身を見てみると、
// 特定の要素までスクロールしたら、外部ページを読み込む
のコメント箇所で具体的な処理内容がわかります。

[退会済みユーザー]

分かりやすい解説ありがとうございます。
twitterにもそのようなデータがあるかどうか確かめてみます。

Answer 2

これとか。

【【jQuery】無限スクロール［Infinite Scroll］を極限までカスタマイズ。 - ONZE】
http://on-ze.com/archives/2486

Comments

[退会済みユーザー]

ちょっと私が意図していたことと違っていたみたいです。
ご回答ありがとうございます。