ブラウザからのアクセス時に表示される HTML ソースを、自前コードで取得したい

Question

twitter.com/intent/user?screen_name=twitter

上記 URL の HTML ソースを WebClient.DownloadString() で取得したときに、ウェブブラウザで表示されるソースと違うのですが、ウェブブラウザで表示されるソースと同じソースを自前コードで取得するにはどうすれば良いのか分かりません。

そして今の知識では、URL 先のサーバーがどういう部分で判定し、ページを送ってきてるのか等が分からず、うまく調べることができませんでした。

そこで具体的なコードというよりは、どのように調べたらいいのか・どういう部分で判定してそう等、ヒント的なのを教えてほしいです。よろしくお願いします。

Answer 1

よくあるケースとしては
0. UA(ユーザーエージェント）でPC/スマートフォンの判定をしている
0. Javascript使用可否の有無で判定をしている

3．(一部もしくは全部を)Javascriptで後から追加しているので、Javascriptを実行できる環境じゃないと正しいソースが組み立てられない
4 . IPアドレスや位置情報などを使って出し分ける（通貨や言語のデフォルト設定を判定したり）
あたりでしょうか。

1,2,3はブラウザの拡張機能をインストールすれば再現可能なものなので、今回がどのケースに該当するか試してみるといいと思います。

Comments

[退会済みユーザー]

あと、cookie,リファラ,独自ヘッダ とか もありますね。
この質問、もうちょっと見てたかったなぁ。

Answer 2

勘違いだったようです。ソースはブラウザから開いた時と同じものでした。すみません。