【C#】javascriptで生成された結果のHTMLタグを含めたページのソースを取得したい

前提・実現したいこと

C#で、ホームページを取得するアプリを作成しているのですが、javascriptでHTMLを動的に作成しているサイトのHTMLタグはどうやって取得すればよいでしょうか。

発生している問題・エラーメッセージ

現状、HTMLを取得すると、javascriptが取得されます。

該当のソースコード

C#
1            WebRequest req = null;
2            req = (HttpWebRequest)WebRequest.Create(this._strCurrentPath);
3            HttpWebResponse res;
4            try
5            {
6                res = (HttpWebResponse)req.GetResponse();
7            }
8            catch(Exception ex)
9            {
10                return;
11            }
12
13            Stream sm = null;
14            StreamReader reader = null;
15
16            string strHtml = "";
17            sm = res.GetResponseStream();
18            reader = new StreamReader(sm);
19　　　　　　 //このstrHtmlに動的な結果を取得したい
20            strHtml = reader.ReadToEnd();

行動規範の内容に同意します

回答2件

seleniumでブラウザ操作をしましょう。
参考

投稿2020/03/04 08:56

kairi003

総合スコア1330

freemann

2020/03/04 12:13

回答ありがとうございます。リンク先を見たところ、ブラウザの自動化のやり方に見えるのですが。私はサイトの解析をしたいので、HTMLのタグを含むソースを知りたいのです。

Zuishin

2020/03/13 03:08

JavaScript を走らせるためにはそれができる環境が必要です。Selenium でブラウザを起動するのはその中で最もシンプルで良い解決法だと思います。Selenium を使えば表示中のページの解析済み要素を取得できますし、不要だとは思いますが、ソースを取得することも可能です。

行動規範の内容に同意します

ベストアンサー

Javascriptはブラウザ内で動作し、その編集結果はDOMに反映されます。
このため
元のHTMLファイル(あるいは対象ページ)をIEなどのブラウザで読み込み、
Javascript処理後のDOMに対してoutretHTML,innerHTML等でHTMLテキスト
を採取すれば編集後のHTMLコードが得られます。
【例】

  ieObj.Document.all(0).outerHTML

詳細は以下を参考にしてください
(Qiita) C#でIEを立ち上げてGoogle検索をさせてみた
https://qiita.com/kob58im/items/3dadf7b24de2cafb1e8d
(後半不要です、IEオブジェクトの作成～ナビーゲション部分のみ)

プログラムでネットサーフィン！
https://web.biz-prog.net/readme/readme.html

ただし注意点として
上記で得られるHTMLコードはDOMから復元したものですので、
読み込んだHTMLファイルやJavaScriptが生成した元のコードとは(テキストレベル
では)必ずしも一致しません。これはブラウザが読み込んだHTMLコードをブラウザ
内部のロジックで正規化するためです。
たとえばIE11では
↓元のコード
<a NAME="fuga" HREF="fuga">xxx</a>
↓outerHTMLで得られるコード
<A href="fuga" name=fuga>xxx</A>
となります(※大/小文字、アトリビュートの順序、引用符ありなし等が異なる)