時差を考慮した時間の補正方法()

Question

前提・実現したいこと

アメリカの現地時間からUTC(協定世界時)に変換を試みています。
datetime, pytz等のライブラリを使用しているのですが、"AmbiguousTimeError"とエラーが返されます。

途中にprint行を入れるとエラーが無くなるのですが、このエラーの除去方法を教えていただけますでしょうか。

該当のソースコード

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import time, datetime, sys, pytz

gge_product = "NOAA/GOES/16/MCMIPF" #link: https://developers.google.com/earth-engine/datasets/catalog/NOAA_GOES_16_MCMIPF#bands

inp_files = []
inp_files += [pd.read_csv("/content/drive/MyDrive/GOES/20180901-20181231.csv")]
#inp_files += [pd.read_csv("/content/drive/MyDrive/GOES/20190101-20191231.csv")]
#inp_files += [pd.read_csv("/content/drive/MyDrive/GOES/20200101-20201231.csv")]
#inp_files += [pd.read_csv("/content/drive/MyDrive/GOES/20210101-20210315.csv")]


for i, df_ in enumerate(inp_files):
  if i == 0:
    df = df_
  else:
    df = pd.concat([df, df_])

df.insert(df.columns.get_loc("CST")+1, 'Local Time', '')
df.insert(df.columns.get_loc("CST")+2, 'UTC Time', '')
df.insert(df.columns.get_loc("CST")+3, 'Unixtime', '')


for i, row in df.iterrows():
  year = int(row['Year']) #2018
  doy  = int(row['DOY']) #244
  hour = int(np.floor(row['CST']/100)) #0
  min = int(row['CST']) -100*hour #0
  
  date =  datetime.datetime(year, 1, 1)  +datetime.timedelta(days=doy-1, hours=hour, minutes=min ) 
  #print(date) #この行を挿入するとエラーが消滅する

  local = pytz.timezone("US/Central")
  date_local = local.localize(date, is_dst=None)
  date_utc = date_local.astimezone(pytz.utc)
  unixtime = date_utc.timestamp() # https://www.tutorialspoint.com/How-to-convert-Python-date-to-Unix-timestamp
  row['Local Time'] = date
  row['UTC Time'] = date_utc
  row['Unixtime'] = unixtime
df

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
AmbiguousTimeError                        Traceback (most recent call last)
<ipython-input-5-da80fe3f51b6> in <module>()
     35   # https://stackoverflow.com/questions/1379740/pytz-localize-vs-datetime-replace
     36   local = pytz.timezone("US/Central")
---> 37   date_local = local.localize(date, is_dst=None)
     38   date_utc = date_local.astimezone(pytz.utc)
     39   unixtime = date_utc.timestamp() # https://www.tutorialspoint.com/How-to-convert-Python-date-to-Unix-timestamp

/usr/local/lib/python3.7/dist-packages/pytz/tzinfo.py in localize(self, dt, is_dst)
    361         # ambiguous case
    362         if is_dst is None:
--> 363             raise AmbiguousTimeError(dt)
    364 
    365         # Filter out the possiblilities that don't match the requested

AmbiguousTimeError: 2018-11-04 01:00:00

参考にしたURL/コード

元々はこちらを参考にして改造しています

from datetime import datetime   
import pytz

local = pytz.timezone("America/Los_Angeles")
naive = datetime.strptime("2001-2-3 10:11:12", "%Y-%m-%d %H:%M:%S")
local_dt = local.localize(naive, is_dst=None)
utc_dt = local_dt.astimezone(pytz.utc)

加工しようとしているファイル

上のコードだけではファイルの中身がわからないと思うので、詳細をお伝えします。
取り扱おうとしているファイルはルイジアナの日照データなのですが、こちらのリンク上にある"All 1-Min Raw Data (ZIP Compressed)"を選択して"submit"を押すとcsvファイルが入手できます
今回のコードはこのCSVファイルを加工したものです。

Comments

[otn]

お書きのコードは実行できません。
エラーが発生した時に実行していたコードを載せてください。

[ppaul]

days=doy-1のdoyはdayの間違いですか？

[Anonymous2020]

>>OTNさん
コードを省略していて申し訳ありません。コードを更新しました
>>ppaulさん
DOYは通日日付(Day of Year)を表しています。1月１日からの連続日という意味です。アメリカから拾ったデータでこのようなまとめ方をしているのでそのままコードで使用しています
https://wiki.suikawiki.org/n/DOY

Answer 1

最小限で再現するコードはこうです。
これを質問に貼ってもらえると余計な手間が省けます。

from datetime import datetime
import pytz

date =  datetime(2018, 11, 4, 1, 0, 0)
local = pytz.timezone("US/Central")
date_local = local.localize(date, is_dst=None)

夏時間 - Wikipedia

上記2ケ国では、3月第2日曜日午前2時〜11月第1日曜日午前2時

夏時間が夏時間でなくなるタイミングなので、2018/11/4 1:00:00〜1:59:59 の範囲が曖昧だというエラーになるのですね。
まず「夏時間の2018/11/4 1:00:00」がきて、1時間後に夏時間が終わって「夏時間じゃない2018/11/4 1:00:00」がくるので、"夏時間かどうかわからない2018/11/4 1:00:00を変換しろって言われても曖昧(ambiguou)だから無理"というエラーです。
そのデータが夏時間をどう取り扱っているか確認して明に指定しないといけないでしょう。

Comments

[Anonymous2020]

ご回答ありがとうございます。
大変恥ずかしい話なのですが、サマータイムは盲点でした。。。

サマータイムではないと明示するにはどうすればよいかわかりますでしょうか
追加で質問申し訳ありません

[quickquip]

関数の説明を読んでないということですか?

[Anonymous2020]

is_dst=False -> サマータイムでない
is_dst =True -> サマータイム
ということですね。大変失礼いたしました

参考：
https://pypi.org/project/pytz/
https://blog.narito.ninja/detail/81

Answer 2

サマータイムの切れ目で、その時間が存在しないからですかね？ あまり詳しくは調べてませんけど、
ポイントは、その時刻(2018-11-04 01:00:00)そのものが変換できないことです。その日はその年のサマータイムの終った日です。

以下のコードで再現します。
他の日時にすると、大丈夫です。

import datetime, pytz 

year = 2018
doy  = 308
hour = 1
min = 0

date =  datetime.datetime(year, 1, 1)  +datetime.timedelta(days=doy-1, hours=hour, minutes=min )
local = pytz.timezone("US/Central")
date_local = local.localize(date, is_dst=None)

print(date_local)