chromedriverを用いたCSVファイルの自動ダウンロードにおいて、最後まで動作はしているようですがファイルのダウンロードが行われません

Question

chromedriverを使って、気象庁のHPから気象データを自動ダウンロードしようとしています。
コードを実行すると、一番最後に記述したテキストの出力がされているのですべて動作はしているようなのですが、肝心のCSVファイルのダウンロードがなされていません。
コードをご覧いただき、どのような問題があるのかご教示いただけないでしょうか。
動作確認はコマンドプロンプト上、jupyter notebook上で行いました。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Program Files/chromedriver_win32/chromedriver.exe', options=options)
html = driver.get("http://www.data.jma.go.jp/gmd/risk/obsdl/index.php")#気象庁ダウンロードサイトへ行く
time.sleep(1)

#ダウンロードする項目を選ぶ
driver.find_element_by_id('elementButton').click()
time.sleep(1)
#気温のみ選択
driver.find_element_by_xpath('//*[@id="aggrgPeriod"]/div/div[1]/div[1]/label/input').click()
time.sleep(1)
driver.find_element_by_xpath('//*[@id="気温"]').click()
time.sleep(1)
#期間を選ぶ
driver.find_element_by_id('periodButton').click()
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[1]/label/span').click()
time.sleep(1)
driver.find_element_by_xpath( '//*[@id="selectPeriod"]/div/div[2]/div[2]/div[2]/select[1]/option[3]').click()  # 2017年
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[2]/div[1]/select[1]/option[12]').click() #12月
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[2]/div[1]/select[2]/option[1]').click() #1日
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[2]/div[2]/select[2]/option[1]').click() #2018年
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[2]/div[1]/select[3]/option[3]').click() #3月
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectPeriod"]/div/div[2]/div[2]/div[1]/select[4]/option[31]').click() #31日
time.sleep(1)
#表示オプションを選ぶ
driver.find_element_by_id('optionButton').click()
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectOp"]/div[1]/div/div[2]/p/label/input').click()
time.sleep(1)
driver.find_element_by_xpath('//*[@id="selectOp"]/div[2]/div/div[2]/p/label/input').click()
time.sleep(1)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")　#画面スクロール
driver.find_element_by_xpath('//*[@id="selectOp"]/div[3]/p[1]/label/input').click()
time.sleep(1)
driver.find_element_by_xpath('//*[@id="リテラル"]').click()
time.sleep(1)
driver.find_element_by_xpath('// *[@id="selectOp"]/div[4]/div/div[2]/label/input').click()
time.sleep(1)

#地点を選ぶ
driver.find_element_by_id('stationButton').click()
time.sleep(1)


select_list = ['東京', '小河内']#今回取得したい2地点
driver.find_element_by_xpath('//*[@id="pr44"]').click()#東京都(pr44)を選択
time.sleep(2)
stations = driver.find_elements_by_xpath('//*[@class="station"]')

time.sleep(1)
for station in stations:
    station.click()
    time.sleep(2)
    stname = station.find_element_by_name("stname").get_attribute("value")
        #選択中の地点がselect_listになければ、その地点をスキップする
    if not stname in select_list:
        print(stname + " skip")
    else:
        driver.find_element_by_xpath('//*[@id="csvdl"]/img').click()　#ボタンをクリックしてCSVをダウンロード
        time.sleep(10) 
        print(stname + " DL")
        #選択した地点を解除する
    driver.find_element_by_id("deleteAllStPref").click()
    time.sleep(2)

driver.find_element_by_css_selector("#buttonSelectStation").click()
time.sleep(5)
print(stname)#確認用に最後の地点を表示

Comments

[meg_]

ダウンロードフォルダに保存されていませんか？

[tohon]

ありがとうございます。すみません、ご返答が遅くなってしまいました。
ダウンロードフォルダを確認しましたが、やはりできておりませんでした。

Answer 1

chromeをヘッドレスモードで使った場合、セキュリティの観点でダウンロードに制限があるという問題ですね。
これを解決するためにPage.setDownloadBehaviorをsend_commandする必要があります。
またこのダウンロード方法だとブラウザによるファイルのリネームが動いてくれず、
同じディレクトリだとdata.csvが上書きされてしまいますので、
地点毎にダウンロードディレクトリを変えてenable_download_in_headless_chrome関数を呼び出す方式を取っています。
今回のようにダウンロードファイル上書きのようなことがなければwebdriver.Chromeでchromedriver.exe呼んだ後に一回実行すれば本来は十分です。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import os

#ダウンロードディレクトリ
DOWNLOAD_PATH = os.path.dirname(os.path.abspath(__file__)) + '\download'

#ダウンロードを実行するためにchromedriverにPage.setDownloadBehaviorをsend_commandでPOST送信する関数
def enable_download_in_headless_chrome(driver, download_dir):
    driver.command_executor._commands["send_command"] = ("POST", '/session/$sessionId/chromium/send_command')
    params = {'cmd': 'Page.setDownloadBehavior', 'params': {'behavior': 'allow', 'downloadPath': download_dir}}
    driver.execute("send_command", params)

options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Program Files/chromedriver_win32/chromedriver.exe', options=options)
・・・
for station in stations:
    station.click()
    time.sleep(2)
    stname = station.find_element_by_name("stname").get_attribute("value")
        #選択中の地点がselect_listになければ、その地点をスキップする
    if not stname in select_list:
        print(stname + " skip")
    else:
        #地点毎にダウンロードディレクトリを作成してsend_commandする
        enable_download_in_headless_chrome(driver, DOWNLOAD_PATH + "\"+ stname)

        driver.find_element_by_xpath('//*[@id="csvdl"]/img').click()#ボタンをクリックしてCSVをダウンロード
        time.sleep(10) 
        print(stname + " DL")
        #選択した地点を解除する
    driver.find_element_by_id("deleteAllStPref").click()
    time.sleep(2)
・・・

Comments

[tohon]

ありがとうございます！
添付いただいたコードでの実行を行いましたら、設定どおりのcsvファイルがダウンロードできました。