Pythonを使用して過去の気象情報をダウンロードしたい

Question

###やりたいこと
Pythonを使用し、気象庁のサイトから名古屋の前日の気温と湿度のcsvファイルを自動でダウンロードしたいと思っています。

###躓いている点
気象庁のサイトで実際に地域や日付等を指定して、その際のPOSTの内容をchromeで調べてみてrequestsのパラメーターに渡すことで地域などを指定した状態のURLを取得することはできたのですが、そこからCSVファイルをダウンロードする操作をどのように行えば良いのかが分からず躓いています。

csvファイルをダウンロードするためのボタンのタグは下記で、リンクが画像ファイルのため、csvのパスが分からないという状態です。

<img src="//www.data.jma.go.jp/gmd/risk/obsdl/web/img/download_large_1.png" class="rollover" alt="">

import requests
import json
import pprint

def main(url):
    info = {
    'stationNumList:':["s47636"],
    'aggrgPeriod': 9,
    'elementNumList': [["201",""],["605",""]],
    'interAnnualFlag': 1,
    'ymdList': ["2019","2019","8","8","6","6"],
    'optionNumList': [],
    'downloadFlag': 'true',
    'rmkFlag': 1,
    'disconnectFlag': 1,
    'youbiFlag': 0,
    'fukenFlag': 0,
    'kijiFlag':0,
    'huukouFlag': 0,
    'csvFlag': 1,
    'jikantaiFlag': 0,
    'jikantaiList': [1,24],
    'ymdLiteral': 1,
    'HPSESSID': '4rg1644vq7bldtoek3vlhbsc25'
    }

    response = requests.get(
        url,
        params=info)

if __name__ == '__main__':
    URL = 'https://www.data.jma.go.jp/gmd/risk/obsdl/index.php'
    main(URL)

###バージョン情報など

• Python==3.6.6
• requests==2.22.0

###備考
すみませんが、どなたかヒントをいただけると助かります。

###追記
指摘していただいた内容を反映し、下記のようなコードにしてみました。
ダウンロードcsvの保存先をデスクトップにしたいのですが、
ダウンロードフォルダに保存されてしまいます。

どこを修正する必要があるか教えていただけないでしょうか？

import requests
from selenium import webdriver
import time
from selenium.webdriver.support.ui import Select
import datetime

def main(url,driver_path,download_dir):
    dict = get_date()
    driver = init_selenium(driver_path,download_dir)
    hack(url,dict,driver)

def get_date():
    yesterday =  datetime.date.today() - datetime.timedelta(1)
    dict = {}
    dict['y']=yesterday.year
    dict['m']=yesterday.month
    dict['d']=yesterday.day
    return dict

def hack(url,dict,driver):

    #driver = webdriver.Chrome('C:/Users/10001205180/Desktop/selenium/chromedriver')
    driver.get(url)

    time.sleep(1)
    driver.find_element_by_id('pr51').click()#愛知を選択
    time.sleep(2) #5秒遅らせる

    element = driver.find_element_by_xpath("//div[@id='stationMap']/div[7]/div")
    element.click()#名古屋を選択
    time.sleep(2)

    driver.find_element_by_id('elementButton').click()#項目選択画面へ
    time.sleep(1)

    driver.find_element_by_xpath("//div[@id='aggrgPeriod']/div/div/div/label/span").click()#時別値を選択
    time.sleep(1)

    driver.find_element_by_id('気温').click()#気温を選択

    driver.find_element_by_id('相対湿度').click()#湿度を選択

    driver.find_element_by_id('periodButton').click()#期間指定画面へ
    time.sleep(1)

    starty_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[2]/select")
    starty_select_element = Select(starty_element)
    starty_select_element.select_by_value(str(dict['y']))

    startm_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[2]/select[2]")
    startm_select_element = Select(startm_element)
    startm_select_element.select_by_value(str(dict['m']))

    startd_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[2]/select[3]")
    startd_select_element = Select(startd_element)
    startd_select_element.select_by_value(str(dict['d']))
####################################################################################################################
    endy_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[3]/select")
    endy_select_element = Select(endy_element)
    endy_select_element.select_by_value(str(dict['y']))

    endm_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[3]/select[2]")
    endm_select_element = Select(endm_element)
    endm_select_element.select_by_value(str(dict['m']))

    endd_element = driver.find_element_by_xpath("//div[@id='selectPeriod']/div/div/div[2]/div[3]/select[3]")
    endd_select_element = Select(endd_element)
    endd_select_element.select_by_value(str(dict['d']))

    out_element = driver.find_element_by_xpath("//span[@id='csvdl']/img").click()
    time.sleep(3)
    driver.quit()

def init_selenium(driver_path,download_directory):
    ###Chromeへオプションを設定
    chop = webdriver.ChromeOptions() #
    prefs = {"download.default_directory" : download_directory}
    chop.add_experimental_option("prefs",prefs)
    chop.add_argument('--ignore-certificate-errors') #SSLエラー対策
    driver = webdriver.Chrome(driver_path,chrome_options = chop)
    return driver

if __name__ == '__main__':
    url = 'https://www.data.jma.go.jp/gmd/risk/obsdl/index.php'
    driver_path = 'C:/Users/user/Desktop/selenium/chromedriver'
    download_dir = 'ｃ:\Users\user\Desktop'
    main(url,driver_path,download_dir)

Comments

[tiitoi]

Javascript を使っているようなので requests モジュールでは無理です。
selenium でブラウザを操作する必要があると思います。

[ryo387841]

回答ありがとうございます。
追記として記載しましたが、seleniumでcsvをダウンロードするところまでは出来たのですが、
ダウンロード先を自分で指定したフォルダ(デスクトップ)に出来ず困っています。
良ければアドバイスをいただけないでしょうか？

[tiitoi]

こちらの環境 (Windows 10) で動かしてみましたが、指定したディレクトリに保存されました。パスが間違っていないか確認してみてください。

Answer 1

ダウンロード先を自分で指定したフォルダ(デスクトップ)に出来ず困っています。

良ければアドバイスをいただけないでしょうか？

download_dir = 'ｃ:\Users\user\Desktop'

ドライブレターが全角大文字になっています。
指定したディレクトリが存在しないので、デフォルトのダウンロードフォルダに保存されていると思われます。

raw 文字リテラルを使用すると、エクスプローラーのパス欄をコピペした円マークが含まれる Windows のパスを \ としないで、そのまま記述できるので、ミスが減ると思います。

path = r"C:\Users\hoge\Desktop"

Comments

[ryo387841]

ありがとうございました。
raw文字リテラル。これから使っていこうと思います