【C#】Ajaxで値の変わるページをHTTPClientでスクレイピングする方法について

Question

やりたい事

Ajaxで値の変わるページのスクレイピングをしようとしています。
具体的には、以下のような為替レートが閲覧できるようなサイトのスクレイピングをしようとしています。
https://www.dailyfx.com/forex-rates

分からない事

上記ページをF12の開発者ツールで見ると、
「#eurusd-priceAsk」のようなEUR/USDのAskの値段を取得できるIDが振られていることが確認できます。
しかし、HTTPClientで上記ページのinnerHTMLを取得した場合には「#eurusd-priceAsk」のIDが含まれておらず、
その一つ上の階層の「#EURUSD」までしか取得する事ができません。

これは、そういうものなのでしょうか？
何かほかにうまいやり方をすれば上手くAjaxで更新されている値を取得する事が可能なのでしょうか？
簡単に試したコードを以下にアップロードしたので、まずい所があれば指摘をお願い致します。
https://github.com/karimatan1106/HTTPClient

また、そもそもAjaxページをスクレイピングするにあたってC#では不向きだなどという幅広い知見もあれば教えてください。

他に試した事

WPFのWebBrowserコントロールを使用してDocumentプロパティから「#eurusd-priceAsk」が取得出来る事は確認できました。
しかし、コントロールのプロパティに依存するやり方はあまり優れたやり方だとは思わないのであまりやりたくありません。

Answer 1

httpClient等のHTTP通信クラスは リクエストを送信してレスポンスを受信するだけです。
つまり、該当URLにリクエストを送信し、WEBサーバーからHTMLのテキストを取得して終わりです。
リクエスト送信、レスポンス受信 という１セットがHTTP通信です。
それ以上のことはできません。

ajaxの実行はjavascriptが行うことで、javascriptを実行するのはブラウザの仕事です。
ブラウザによってjavascriptの挙動が変わることはご存知かと思いますが、つまりブラウザが独自の解釈でjavascriptを実行します。JavaScriptとHTTPはまったく別物で関係ありません。

WPFであればWebBrowserコントロールを使うのも間違いではないと思います。
phantomJsといったサードパーティのブラウザに準拠した挙動をするライブラリを使用するのも手です。

もしくは該当サイトがajaxによりデータを取得しているWebApiのURLがあれば直接そのAPIを実行してjsonデータを取得するのも方法としては有りかと思います。