selenium・Firefoxで直接ダウンロードする方法

###前提・実現したいこと
tagにC#とJavaを入れさせて頂きましたが、開発はVB2015で行っています。
サイト上にあるＣＳＶを定期的に取得する作業を自動化したいと思い、C#用seleniumをVBに取り込んで開発をしています。

このため、サイトに行ったり、ボタンを押したりは自動で出来るようになりました。

しかし、ダウンロードの実行時にダイアログが出てしまい、これを突破出来ずに困っております。

以下のコードですと、2回目のURLをdriver.Url したところで、ダウンロード用のリンクにジャンプ。あらかじめ、profile.SetPreferenceの列挙で、C:\に直接ダウンロードするように設定してあるので、ダイアログが出ずにそのままダウンロードできる…と思うのですが、何が間違っているのでしょうか？

よろしくお願いいたします。

###該当のソースコード

VB.NET
1Imports OpenQA.Selenium
2Imports MySql.Data.MySqlClient
3
4Module Module1
5
6    Public driver As IWebDriver
7
8    Sub question12()
9        ''CSVをダウンロードするテスト
10
11        Dim profile As New Firefox.FirefoxProfile()
12        profile.SetPreference("browser.download.folderList", 2)
13        profile.SetPreference("browser.download.dir", "C:\")
14        profile.SetPreference("browser.download.useDownloadDir", True)
15        profile.SetPreference("browser.helperApps.neverAsk.saveToDisk", "text/comma-separated-values")
16
17
18        driver = New OpenQA.Selenium.Firefox.FirefoxDriver(profile)
19
20        Dim url As String = "http://www.japannetbank.co.jp/service/payment/web_all/csv_download.html"
21        driver.Url = url
22
23        url = "http://www.japannetbank.co.jp/service/payment/web_all/sample_zengin.csv"
24        driver.Url = url
25
26
27
28    End Sub
29End Module

補足：ＣＳＶファイルのＵＲＬをクリックすると、このようなダイアログ（？）が表示されます。

行動規範の内容に同意します

回答1件

ベストアンサー

すぐにテストできる環境が手元に無いので未確認ですが、下記を試してみたら効果があるかもしれません。

browser.download.manager.showWhenStarting を false に。（ダウンロードマネージャーを起動しないようにする）
browser.helperApps.neverAsk.saveToDisk を "text/comma-separated-values,text/csv"に。（CSVファイルのMIMEタイプが "text/csv" となっているWebサーバーがある）
browser.download.dir を C:ドライブのルートではなく、適当なサブフォルダに。（C:ルートは特別なセキュリティ設定になっていて、アプリから書き込みエラーになる可能性がある）

投稿2016/04/11 09:17

tkanda

総合スコア2425

ky_46

2016/04/12 03:06

ご回答ありがとうございます。申し訳ないのですが、エラーになりました。上記アドバイスに従い、 Dim profile As New Firefox.FirefoxProfile() profile.SetPreference("browser.download.manager.showWhenStarting", False) profile.SetPreference("browser.download.folderList", 2) profile.SetPreference("browser.download.dir", "C:\Users\Public\Documents\csv") profile.SetPreference("browser.download.useDownloadDir", True) profile.SetPreference("browser.helperApps.neverAsk.saveToDisk", "text/comma-separated-values,text/csv") driver = New OpenQA.Selenium.Firefox.FirefoxDriver(profile) としてみましたが、browser.download.manager.showWhenStarting　の行でエラーになります。 ystem.ArgumentException はハンドルされませんでした。 HResult=-2147024809 Message=Preference browser.download.manager.showWhenStarting may not be overridden: frozen value=False, requested value=False Source=WebDriver とのエラー内容で、調べてみると、凍結した値= Falseを、要求された値を=False　では上書きされない　というメッセージのようですが、それにしてはこの行をコメントアウトすると、やはりダウンロードマネージャーが表示されてしまいます。とすると、falseで「凍結」されているわけではなさそうですし… なにか判りましたら、教えて頂けると助かります。

tkanda

2016/04/12 03:24

"frozen value=False" と表示されているので、すでに False に設定されているようですね。 showWhenStartingの一行はコメントアウトしてよさそうです。それはそうと、"C:\Users\Public\Documents\csv" はバックスラッシュをダブルバックスラッシュに修正が必要かと思われます。

tkanda

2016/04/12 03:34

あと、関係ありそうなのは "browser.download.manager.useWindow" を "False" にしてみるとか。公式ドキュメントによると "ダウンロードマネージャウィンドウを使用するか (true)、それともブラウザウィンドウのステータスバーにダウンロードの進捗状況を表示するか (false) を示す真偽値。規定値はtrue。"とのことです。

ky_46

2016/04/12 05:41

ありがとうございます。 ---- Dim profile As New Firefox.FirefoxProfile() profile.SetPreference("browser.download.manager.useWindow", False) profile.SetPreference("browser.download.folderList", 2) profile.SetPreference("browser.download.dir", "C:\\Users\Public\\Documents\\csv") profile.SetPreference("browser.download.useDownloadDir", True) profile.SetPreference("browser.helperApps.neverAsk.saveToDisk", "text/comma-separated-values,text/csv") driver = New OpenQA.Selenium.Firefox.FirefoxDriver(profile) url = "http://www.japannetbank.co.jp/service/payment/web_all/sample_zengin.csv" driver.Url = url ---- に書き直してみましたが、補足に入れた通り、このＣＳＶをアプリケーションで開くのか？それとも保存するのか？　のダイアログは表示されてしまいます。 Firefox　ダウンロード確認　などでGoogleも調べてみましたが、有効な資料に辿り着けておりません。尚、遅くなりましたが、Firefox　は自動更新により45.0.2になっております。

tkanda

2016/04/12 08:25

この画像に出ているダイアログはダウンロードマネージャーではなくて、その前段階で表示されるやつですね。これの表示に影響があるオプションだと "browser.helperApps.alwaysAsk.force" がありますね。これを False に設定するとどうでしょうか。（公式ドキュメントだと規定値がfalseとなっているので、普通は明示的にFalseにする必要はないのだと思いますが念のため・・・）

ky_46

2016/04/12 09:03

ありがとうございます。 profile.SetPreference("browser.helperApps.alwaysAsk.force", False) を試してみましたが、やはりCSVのURLでダイアログが出現します。ブレークポイントを設置して、立ち上がったFirefoxのオプション画面を見てみますと、ダウンロードフォルダは設定されていますので、作成したプロファイルを読み込んでいるようなのですが、プログラムでファイルの種類と取り扱い方法に、 profile.SetPreference("browser.helperApps.neverAsk.saveToDisk", "text/comma-separated-values,text/csv") を書いているのにＣＳＶが載っていませんので、この辺りが失敗しているために、このダイアログが出て来てしまうのでしょうか？いっそ、Firefoxのプロファイルを規定値として作成しておき、それが読み込めたらと思うのですが、既存プロファイルを指定して読み込む方法が、Googleで調べてもRubyのだったりとなかなか良いものがなく、苦心しています。よろしくお願いいたします。

tkanda

2016/04/12 10:18

FireFoxプロファイルの設定については、これまで書いた事以外にはこれといった情報は見つかりませんね。お役に立てず残念です。最後に代案ですが、ChromeやIE等のブラウザを使うことも検討されたほうが先に進める気がします。

tkanda

2016/04/12 10:19

あるいは、PhantomJSのほうが、余計なダイアログ等が出てこないのでシンプルに処理できるかもしれませんね。

ky_46

2016/04/13 02:16

いろいろ調べて頂き、ありがとうございました。実は、本来自動ダウンロードをしようとしているサイトが、IEとFirefox推奨で、chromeは対象外。実行しようとしているパソコンは、Windows10機で、IEは使えない事はないですが、推奨はされていない。この条件で、Firefoxでの作業が希望だったのですが、この状況では致し方ありません。何か方法を検討してみます。 PhantomJSの情報もありがとうございました。こちらも試してみたいと思います。

ky_46

2016/04/28 08:47

少し時間が経ってしまいましたが、解決できました。思い切って、人間がオペレートしない実行用パソコンを用意。 Firefoxをインストールした際、ファイルを何処にダウンロードするかを予め書き込んだプロファイルを用意。 Dim profile As New Firefox.FirefoxProfile("C:\Users\hoge\AppData\Roaming\Mozilla\Firefox\Profiles\degmp8vh.selenium01") driver = New OpenQA.Selenium.Firefox.FirefoxDriver(profile) のように作成したプロファイルを呼び出す事で、コード中にはダウンロードの指定などを無くしました。これで上手くはいきましたが、人間が操作する際は、プロファイルが入れ替わって予期せぬ動作になってしまうため、実行機は別マシンにした方が良いようです。

行動規範の内容に同意します