Web作業自動化に適したソフト
解決済
回答 1
投稿
- 評価
- クリップ 0
- VIEW 2,081
質問というよりは、ご相談に近いです。 WEBでの定例的な作業を自動化するには、どんなソフトがオススメでしょうか？
現在のところ、Sikuli（シクリ）、Selenium、サイトロジー2を試験しています。
主に思いつく定例作業をあげてみると、
１．WEBサイトに接続し、ログイン。中のリンクを辿り、所定の場所へ。日付や、選択のラジオボタンを操作後、ファイルをダウンロード。
２．作成したURL一覧を元に、URLを総当たりして、ページ中の情報の一部をデータとして取ってくる。
３．サイトからリンク先のURLを取得して辿って行き、ページ中の情報の一部をデータとして取ってくる。
現在、１は人間が手作業で、２と３はVBでWebBrowserコントロールを使い、得られたHTMLをstringに格納して、文字列検索で強引に分解して処理しています。
Sikuli（シクリ）は画像を元にしているため、大量のWEB操作には向いていないように思います。１でも失敗がけっこうありましたので…
Selenium は慣れないJAVAで四苦八苦しています。 また、Sikuli（シクリ）やSelenium は開発プログラムのテストとして紹介が多く、ロボットのように使用しても問題無いのかしら？ という点もひっかかっています。
サイトロジー2は試験を始めたばかりですが、有料の上、あまりネット上に情報が無さそうなところが少し躊躇しています。
なにかオススメのものがありましたら、教えてください。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
0
Selenium は慣れないJAVAで四苦八苦しています。
もし言語が問題なら、C#用のSeleniumをVB.NETから利用できます。 http://www.seleniumhq.org/download/
また、Sikuli（シクリ）やSelenium は開発プログラムのテストとして紹介が多く、ロボットのように使用しても問題無いのかしら？ という点もひっかかっています。
かなり多くのテストに利用されているという実績があるので、むしろ大きな問題は無いのではないかと思います。 ただしテストは小さいタスクを何回も実行するタイプなので、再起動なしの長期間稼働についてはわかりかねます。
なにかオススメのものがありましたら、教えてください。
現状困ってないのであれば、今の形で問題ないと思います。 もし遅すぎてどうしようもないとかであれば、SeleniumからPhantomJSを使うなど改善方法はいくつかあるかと思われます。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.23%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2015/12/10 19:00
2015/12/10 19:03
VBで使えるというのは、助かります。早速、実験してみたいと思います。
2015/12/15 15:54
１．新しいプロジェクトを作成する
２．プロジェクトにNuGetで、Seleniumを検索し、インストール
※同時にhtml agility packをNuGetからインストール
次のテストコードを試験しました。
Imports OpenQA.Selenium
Public Class Form1
Private Sub Button1_Click(sender As Object, e As EventArgs ) Handles Button1.Click
Dim driver As IWebDriver = New OpenQA.Selenium.Firefox.FirefoxDriver
driver.Url = "http://news.infoseek.co.jp/ranking/"
Dim htmlText As String = driver.PageSource
Dim HtmlDocument = New HtmlAgilityPack.HtmlDocument()
HtmlDocument.LoadHtml(htmlText)
Dim Nodes As HtmlAgilityPack.HtmlNodeCollection
Nodes = HtmlDocument.DocumentNode.SelectNodes("//div[@class=""section-box__contents""]/ul/li/div[@class=""ranking-list__text""]/a" )
Dim node As HtmlAgilityPack.HtmlNode
For Each node In Nodes
Dim url2 As String = node.GetAttributeValue( "href", "" )
driver.Url = "http://news.infoseek.co.jp/" & url2
Dim htmlText2 As String = driver.PageSource
Next
End Sub
End Class
HTMLパーサーは別の質問からのご回答で組み込みましたが、HTMLの必要部分を取り出し、順番にリンクを辿っています。
貴重な情報をありがとうございました。