Web作業自動化に適したソフト

Question

質問というよりは、ご相談に近いです。
WEBでの定例的な作業を自動化するには、どんなソフトがオススメでしょうか？

現在のところ、Sikuli（シクリ）、Selenium、サイトロジー2を試験しています。

主に思いつく定例作業をあげてみると、

１．WEBサイトに接続し、ログイン。中のリンクを辿り、所定の場所へ。日付や、選択のラジオボタンを操作後、ファイルをダウンロード。

２．作成したURL一覧を元に、URLを総当たりして、ページ中の情報の一部をデータとして取ってくる。

３．サイトからリンク先のURLを取得して辿って行き、ページ中の情報の一部をデータとして取ってくる。

現在、１は人間が手作業で、２と３はVBでWebBrowserコントロールを使い、得られたHTMLをstringに格納して、文字列検索で強引に分解して処理しています。

Sikuli（シクリ）は画像を元にしているため、大量のWEB操作には向いていないように思います。１でも失敗がけっこうありましたので…

Selenium は慣れないJAVAで四苦八苦しています。
また、Sikuli（シクリ）やSelenium は開発プログラムのテストとして紹介が多く、ロボットのように使用しても問題無いのかしら？ という点もひっかかっています。

サイトロジー2は試験を始めたばかりですが、有料の上、あまりネット上に情報が無さそうなところが少し躊躇しています。

なにかオススメのものがありましたら、教えてください。

Answer 1

プログラミング対して苦手な方はノーコードのスクレイピングツールがおすすめします。

Answer 2

Selenium は慣れないJAVAで四苦八苦しています。

もし言語が問題なら、C#用のSeleniumをVB.NETから利用できます。
http://www.seleniumhq.org/download/

また、Sikuli（シクリ）やSelenium は開発プログラムのテストとして紹介が多く、ロボットのように使用しても問題無いのかしら？ という点もひっかかっています。

かなり多くのテストに利用されているという実績があるので、むしろ大きな問題は無いのではないかと思います。
ただしテストは小さいタスクを何回も実行するタイプなので、再起動なしの長期間稼働についてはわかりかねます。

なにかオススメのものがありましたら、教えてください。

現状困ってないのであれば、今の形で問題ないと思います。
もし遅すぎてどうしようもないとかであれば、SeleniumからPhantomJSを使うなど改善方法はいくつかあるかと思われます。

Comments

[ky_46]

ありがとうございます。第4選択肢として、VBでSeleniumを試用してみます。

[ky_46]

ありがとうございます。どうにかこうにか、JavaからGoogleへ行って、キーワード検索をするという試験まではできていました。

VBで使えるというのは、助かります。早速、実験してみたいと思います。

[ky_46]

selenium WebDriverをVB.NETで使用した結果です。

１．新しいプロジェクトを作成する
２．プロジェクトにNuGetで、Seleniumを検索し、インストール
※同時にhtml agility packをNuGetからインストール

次のテストコードを試験しました。
Imports OpenQA.Selenium

Public Class Form1
Private Sub Button1_Click(sender As Object, e As EventArgs ) Handles Button1.Click
Dim driver As IWebDriver = New OpenQA.Selenium.Firefox.FirefoxDriver
driver.Url = "http://news.infoseek.co.jp/ranking/"

Dim htmlText As String = driver.PageSource

Dim HtmlDocument = New HtmlAgilityPack.HtmlDocument()
HtmlDocument.LoadHtml(htmlText)

Dim Nodes As HtmlAgilityPack.HtmlNodeCollection
Nodes = HtmlDocument.DocumentNode.SelectNodes("//div[@class=""section-box__contents""]/ul/li/div[@class=""ranking-list__text""]/a" )

Dim node As HtmlAgilityPack.HtmlNode

For Each node In Nodes
Dim url2 As String = node.GetAttributeValue( "href", "" )

driver.Url = "http://news.infoseek.co.jp/" & url2
Dim htmlText2 As String = driver.PageSource

Next
End Sub
End Class

HTMLパーサーは別の質問からのご回答で組み込みましたが、HTMLの必要部分を取り出し、順番にリンクを辿っています。

貴重な情報をありがとうございました。