C# ブラウザの自動操作をするには

Question

お世話になります。

Web自動巡回ツールのようなものをC#(VS2015 Community)で作っているのですが、ブラウザによるページの取得をどうするかで困っています。

現在試しているのは

1. WebBrowserControlを使った内蔵ブラウザの自作
2. Webkit.Netを使った内蔵ブラウザの自作
3. SHDocVw.InternetExplorerを使ったIEの自動操作
4. Seleniumを使った各ブラウザの自動操作

です。
理由は以下に記述しますが、1と2には限界を感じているので3か4が選択肢になっています。

1. の問題点は、一部のサイトでフリーズすること。UerAgentの変更(レジストリより)で回避できる場合もあるのですが、すべての環境で同じ値で動くわけでもなく、またサイト毎に値が異なるためその都度値を変更するのは困難
2. の問題点はDOM操作がうまくできないこと･･･自分がﾍﾀなだけなのかもしれないのですが、調べた情報ではまだあまり対応しきれていないような･･･それと情報が1と比べて少ないです･･･(英語ばかりなのかな?)
3. の問題点はまだ良くわかっていないです
4. の問題点もまだ良くわかっていないですがフレームやポップアップには対応していないとの情報を見かけました。フレームやポップアップのサイトもかなりあるのでこれが使えないのは致命的･･･。

自分で使用する、というよりも複数の人が使うツールなので、環境依存度が高すぎるのも困ります。せいぜいインストーラーで対応+ちょっとした設定変更くらいで使えるようにしたいと思っています。
また、ブラウザに拘りは特に設けず、この目的が達成できるのであれば、主要ブラウザ(IE、Chrome、Firefox)であればどれでもいいかなと思っています。(複数のブラウザに対応できるのならなおよいのですが、できたらいいなぁ～程度です)

DOM操作はかなりやります。主にいろいろな値の取得とformへの記入、送信ですが･･･。
JavaScriptに関しては直接関数を叩く、ということはなく、あくまでUIで実装されているもの(submitボタンに関連付けられている関数)を想定された手段で(submitボタンを押すことで)実行する程度です。
直接この関数を実行できればいいなぁなんて思ったりしますが、どうしてもやりたければ要素追加しちゃいます。。。。

選択肢3の SHDocVw.InternetExplorerを使ったIEの自動操作がよさそうですが、「これはできないよ」とか難しいんじゃないかな？というアドバイスありましたら教えていただけますと幸いです。

Answer 1

私が求めているような回答がつかないので一旦締めさせていただきます。

Answer 2

formへの記入、送信ですが･･･。

これも結局、HTTPプロトコルでpostしているだけです。
検索したら
http://www.yoheim.net/blog.php?q=20120611
このサイトがわかりやすいかな

Comments

[ElecDove]

回答ありがとうございます
httpやhtmlはCSを学ぶより随分前からやってたので(CGIも作ったりしてます)通信はできますが、htmlの解釈やJSの実行がハードルになっています…。
またログインサイトが大半なのでSessionID等も考えなければいけません…。

Answer 3

HTMLプロトコルを勉強して、socketかなんかで直接、情報を受信、送信できるようになるのが一番の近道かな。
具体的に、何を送れば何が送られてくるか、がわかれば大抵のことはできます。
ブラウザーコントロールですとブラウザー依存になり、かえってややこしいんですよ。
C#ならWebRequest／WebResponseあたりかな。
遠回りに見えますが、巡回ツールなら一番近道だと思います。

Comments

[ElecDove]

回答ありがとうございます
httpのプロトコルはある程度知ってるので通信できなくもないのですが、JSでフォームの内容を作ったり、Ajaxをフル活用したページが多く、JSに依存したページばかり、というのが課題です
JSのエンジンは流石に作れないので、htmlの解釈はすべて外部ブラウザに丸投げせざるを得ない状況です…