wgetでページソース取得

Question

wgetでページソースを取得したいです

質問1
下記コマンドで取得しても、完全なページが表示されないのはなぜですか？また、完全なページソースを取得するにはどうすればいいでしょうか？

wget -p -H -E -nH -k http://yahoo.co.jp

質問2
下記コマンドで取得すると、指定のURLでなく、http://hackme.netfire.jp/startのページが取得されます。なぜでしょうか？また、http://hackme.netfire.jp/Lv1/を取得する方法はありますか？

wget -p -H -E -nH -k http://hackme.netfire.jp/Lv1/

Answer 1

質問１
JavaScriptで動的にページを作っているのでは？
⇒ブラウザなど、JavaScriptを実行できる環境が必要です。

質問２
転送されているのでは？
ブラウザと動作が異なるなら、User-Agentを見て動作を変えているのでしょう。
⇒ --user-agent=～～ のオプションで普通のブラウザと同じものを設定する。

Answer 2

1. 「完全なページ」とは何でしょうか。ブラウザと違うのは、ブラウザと違うアクセスをしたからです。Scraping AJAX web pages
2. 303のレスポンスが返されています。cookieにsessionidが入っていると、lv1に到達できます。wgetでログイン認証の先のページを落とす