[C#]WebClientでGoogle検索結果のページを取得したがブラウザで見た時とHTMLが違う

Question

WebClientのOpenReadで「https://www.google.co.jp/search?q={URIエンコードした文字}」のURLのページを取得し、HtmlAgilityPackで取得したのですが、取得したhtmlソースとブラウザ（Chrome）でみたhtmlソースが違っています。
ブラウザで見た時と同じソースを取得したいのですが、方法はありますでしょうか。

            HtmlAgilityPack.HtmlDocument html = new HtmlAgilityPack.HtmlDocument();
            using (WebClient wc = new WebClient())
            using (Stream s = wc.OpenRead(url))
            using (StreamReader sr = new StreamReader(s, Encoding.GetEncoding("utf-8")))
            {
                html.Load(sr);
            }
            HtmlNodeCollection hs = html.DocumentNode.SelectNodes(@"//div[@class=""g""]/div");

            foreach (var item in hs)
            {
                Console.WriteLine(item.InnerHtml);
            }

ブラウザで確認したソースは↓(aタグのところのみ)

<a href="https://www.searchdesk.com/" onmousedown="return rwt(this,'','','','1','AFQjCNFA9FR66X7Xevi6lEK0FZWsOcbpzg','','0ahUKEwivgvqF6OnPAhVmilQKHWz9Ak4QFgggMAA','','',event)">検索デスク - SearchDesk - スタートページ</a>

実際に取得したソース↓

<a class="_Zkb" href="/url?q=http://webcache.googleusercontent.com/search%3Fq%3Dcache:svz7MjKndB4J:https://www.searchdesk.com/%252B%25E6%25A4%259C%25E7%25B4%25A2%26num%3D1%26hl%3Dja%26ct%3Dclnk&amp;sa=U&amp;ved=0ahUKEwjo-b-V6unPAhUKxFQKHYFOCd0QIAgXMAA&amp;usg=AFQjCNE5T0HGmzkgFXgoVRJk33YwCqRNCA">�L���b�V��</a>

Answer 1

クライアントスクリプトで最終的な内容に書き換えるページで、その最終結果を WebClient で取得するのはできないのではないですか？

Google Custom Search API というのがあるそうですので、それを使うことを検討されてはいかがでしょう？

Comments

[kurosuke___]

回答ありがとうございます。
なるほど・・・リクエストをどうにか違ったものにすれば取得できるのでしょうかね・・・

そのAPIを使おうと思ったのですが、料金の発生しない範囲ですと、リクエスト回数の制限が少し少なすぎたのでどうにかできないものかと思ったのですが、この際仕方ないですね。
ありがとうございました。

[退会済みユーザー]

WebClient でスクリプトが動かない限り（動かないはずですが）何ともならないかと