headless chrome で気象庁のサイトのスクリーンショットを取得した際、ローカルとAWS Lambdaで画像が違う

Question

気象庁の天気図のサイトのスクリーンショットをAWS Lambde定期的に取得しようとしています。
https://www.jma.go.jp/bosai/weather_map

ほぼ同時刻ローカルとAWS Lamdba実行した際に取得されるスクリーンショットの画像が違ってしまいます。
こちらの対策についてご教授願います。

2021年5月30日0時に実行
ローカルで実行　表示時刻　2021年5月29日21時の実況　
(普通にブラウザで接続した際と同じ内容、この画像を取得したい)
![]

AWS Lamdbaで実行　表示時刻　2021年5月28日121時の実況　(通常接続と異なる画像が取得　1日前の状態)

#気象庁天気図サイトスクリーンショット取得
#https://www.jma.go.jp/bosai/weather_map

import time
import os
import boto3

from selenium import webdriver

webdriver_path = "/opt/python/bin/chromedriver" #AWS Lambda実行時
#webdriver_path = "c:/chromedriver/chromedriver"  #ローカル実行時

localpath = "/tmp/"

SCREEN_SHOT_PATH_NAME = "/tmp/screenshot.png"
BUCKET_NAME = 'mybucket'
OUTPUT_FILE_NAME = 'screenshot.png'


# webdriber.chrome option 設定
options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--window-size=1704x1078")
options.add_argument("--disable-application-cache")
options.add_argument("--disable-infobars")
options.add_argument("--no-sandbox")
options.add_argument("--hide-scrollbars")
options.add_argument("--enable-logging")
options.add_argument("--log-level=0")
options.add_argument("--single-process")
options.add_argument("--ignore-certificate-errors")
options.add_argument("--homedir=/tmp")
options.binary_location = "/opt/python/bin/headless-chromium"  #AWS Lambda実行時



def lambda_handler(event, context):

    os.environ['HOME'] = '/opt/'
    print("環境変数",os.environ['HOME'])

    driver = webdriver.Chrome(webdriver_path, chrome_options=options)

    url = "https://www.jma.go.jp/bosai/weather_map"
    driver.get(url)

    time.sleep(3)

    imgname = localpath + "screenshot.png"
    driver.get_screenshot_as_file(imgname)
    print("スクリーンショット保存: "+url+" --> "+imgname)

    #S3にアップロード
    s3 = boto3.resource("s3")
    s3.meta.client.upload_file(SCREEN_SHOT_PATH_NAME, BUCKET_NAME, OUTPUT_FILE_NAME)


#print(lambda_handler(0,0))    #ローカル実行時

Answer 1

追記

実際にlambdaで同スクリプトを実行してみました。確かに同じ現象が起こります。
しかもリージョンが北米でも大阪でも結果が同様でした。

おそらくはjavascript上で返すDateがタイムゾーンなしのUTCで、ページ上での時刻処理に何らかの影響を及ぼしていると思います。（天気図HPのスクリプトはminifyされていて解析が困難です）
起点の時間が33時間前になっていると思われます（1日と9時間）

さらに不可解な挙動が、AWS上で「ひとつ前の時間を表示」ボタンをクリックするとひとつ前の天気図ではなく最も未来の予想天気図が表示されることです。
この状態で、さらに「ひとつ前の時間を表示」ボタンをクリックすると最新の実況天気図になります。

全く理屈が不明ですが、とりあえず「ひとつ前の時間を表示」を2回クリックすることで目的の天気図になります。

検証コード:

    #ブラウザの定義
    driver = webdriver.Chrome(
        "/opt/headless/python/bin/chromedriver",
        options=options
    )

    driver.get(URL)
    # scriptで画像表示処理をしているらしい。ちょっと待つ
    time.sleep(3)
    title = driver.title
    viewdate = driver.find_element_by_css_selector('div.weather-map-time-label').text
    print("title", title)
    print("viewdate", viewdate)
    img = driver.find_element_by_css_selector('.weather-map-viewarea img').get_attribute('src')
    print("img", img);

    # 1つ前の画像を押してみる
    print("ひとつ前の時間を表示")
    driver.find_element_by_css_selector('img[title="ひとつ前の時間を表示"]').click()
    time.sleep(1)
    viewdate = driver.find_element_by_css_selector('div.weather-map-time-label').text
    print("viewdate", viewdate)
    img = driver.find_element_by_css_selector('.weather-map-viewarea img').get_attribute('src')
    print("img", img);

    # 1つ前の画像を押してみる
    print("ひとつ前の時間を表示")
    driver.find_element_by_css_selector('img[title="ひとつ前の時間を表示"]').click()
    time.sleep(1)
    viewdate = driver.find_element_by_css_selector('div.weather-map-time-label').text
    print("viewdate", viewdate)
    img = driver.find_element_by_css_selector('.weather-map-viewarea img').get_attribute('src')
    print("img", img);

    imgname = "/tmp/screenshot.png"
    sfile = driver.get_screenshot_as_file(imgname)
    print("スクリーンショット保存: --> " + imgname)
    print("成功したか？", sfile)


    # 最新表示ボタンを押す
    driver.find_element_by_css_selector('.contents-button').click()
    time.sleep(1)
    viewdate = driver.find_element_by_css_selector('div.weather-map-time-label').text
    print("viewdate", viewdate)
    img = driver.find_element_by_css_selector('.weather-map-viewarea img').get_attribute('src')
    print("img", img);
    driver.close()

実行ログ：

/var/task
title 気象庁｜天気図
viewdate 2021年05月30日12時の実況
img http://www.jma.go.jp/bosai/weather_map/data/png/20210530050231_0_Z__C_010000_20210530030000_MET_CHT_JCIspas_JCP600x581_JRcolor_Tjmahp_image.png
ひとつ前の時間を表示
viewdate 2021年06月02日09時の予想
img http://www.jma.go.jp/bosai/weather_map/data/png/20210531065231_0_Z__C_010000_20210531000000_MET_CHT_JCIfsas48_Rjp_JCP600x581_JRcolor_Tjmahp_image.png
ひとつ前の時間を表示
viewdate 2021年05月31日21時の実況
img http://www.jma.go.jp/bosai/weather_map/data/png/20210531140801_0_Z__C_010000_20210531120000_MET_CHT_JCIspas_JCP600x581_JRcolor_Tjmahp_image.png
スクリーンショット保存: --> /tmp/screenshot.png
成功したか？ True
viewdate 2021年05月30日12時の実況
img http://www.jma.go.jp/bosai/weather_map/data/png/20210530050231_0_Z__C_010000_20210530030000_MET_CHT_JCIspas_JCP600x581_JRcolor_Tjmahp_image.png

なお、天気図の画像は気象庁が公開?しているAPIでJSON形式で画像ファイル名が取得できます。このリストは画像ファイル名だけですが画像ファイルまでのパスを適切に組み合わせることにより天気図を直に取得することができます。
なので、スクリーンショットをとる必要はないのではとも思います。
（画像は直リンクできるし、JSONを返すAPIはクロスドメイン制約を無効にしているので自由につかっていいのではなかろうか、どうだろうか）

以前の回答

本当に提示のスクリプトをAWS上で実行しているのであれば、lambda_handler関数は実行されていないので実行時にスクリーンショットも取得されていません。
（関数実行する文がコメントアウトされている）
1日前にテストしたスクリーンショットを見ているだけなのでは？
スクリーンショットのタイムスタンプも確認してみてください。

AWSでは試せなかったのでGoogle Colaboratoryで同じコードを実行してみましたが、きちんと日本の環境から見た場合と同じ画像が取れました。Google Colaboratory の仮想マシンもAWSと同じおそらくUSにあると思われますので。

Comments

[miyazy]

テストいただきありがとうございます。
AWS lambdaでlambda_handlerが実行されるように指定しております。
(ローカルでテストにコメントアウト部を実行するようにしています。)
実行結果でprint文が表示されています。
「スクリーンショット保存: https://www.jma.go.jp/bosai/weather_map --> /tmp/screenshot.png」

タイムスタンプも確認しているのですが、1日前のものではありません。
ただ今(5/31 21時)再度実行しましたが、
AWS lambdaでのスクリーンショットは「表示時刻 2021年5月30日09時の実況」となります。
(ローカルでは「表示時刻 2021年5月31日18時の実況」)

[miyazy]

Google Colaboratoryで実行したところおっしゃるとおりほしい画像が取得できました。

[miyazy]

おっしゃるとおり、「ひとつ前」ボタンクリックで48時間予想図、もう一度「ひとつ前」ボタンクリックで最新の画像に行き着くことができました。
実際にほしいのは24時間予想図と48時間予想図なのですが、24時間予想図にはうまく行き着けませんでした。
お教えいただいたJSONファイルから取得するほうが簡単そうですので、こちらでやってみたいと思います。
パスの取得を試みていたのですが、スクリーンショットのほうが違いがわかるかと思った次第でした。
逆にわかりづらくしてしまったでしょうか。
前回の質問https://teratail.com/questions/339014で回答が得られなかったので、内容を変えてみました。
テストしづらい環境でなかなか回答が得られないなか、ご回答いただきありがとうございました。