pythonで電車発車時刻をスクレイピングしたい

Question

なぜか、始発の時間が出力されてしまいます。
ヤフー乗換案内を使っています。本来は最寄り駅ですが、仮として東京から品川にしています。

urlのformatによる代入までは正しくできているのですが、おそらくrequestsがうまくいってないようです。
解決策お願い致します。

from bs4 import BeautifulSoup
import requests
import time
import datetime

today = datetime.datetime.now()

hour = today.hour
minute = today.minute
mi = str(minute)
m1 = int(mi[0])
m2 = int(mi[1])
year = today.year
month = today.month
day = today.day
print(today)
url = "https://transit.yahoo.co.jp/search/result?flatlon=&fromgid=&from=%E6%9D%B1%E4%BA%AC&tlatlon=&togid=&to=%E5%93%81%E5%B7%9D&viacode=&via=&viacode=&via=&viacode=&via=&y={}&m={}&d={}&hh={}&m2={}&m1={}&type=1&ticket=ic&expkind=1&ws=3&s=0&al=1&shin=1&ex=1&hb=1&lb=1&sr=1&kw=%E5%93%81%E5%B7%9D".format(year,month,day,hour,m2,m1)
response = requests.get(url)
#response.encoding = response.apparent_encoding
soup = BeautifulSoup(response.content,"html.parser")

roots = soup.find_all("li",class_="time")
for i in range(1,4,1):
    print(roots[i].get_text()[0:11])

Answer 1

状況が不明なので一般論です。

まず、希望のHTMLが取得できているか確認します。print(response.content)。

これが希望のHTMLでない場合（希望のデータが含まれない場合）は、
・JavaScriptで動的にHTMLを生成している
・フレームを使っている
のどちらか（or両方）です。
JavaScriptで生成している場合は、requests.getでは取得できないので、
何らかのブラウザ + Selenium + webdriver等を使います。

希望のHTMLの場合（希望のデータが含まれる場合）は、HTMLをよくみて、要素を指定します。

Answer 2

from bs4 import BeautifulSoup
import requests
import time
import datetime

today = datetime.datetime.now()

hour = today.hour
minute = today.minute
mi = str(minute)
m1 = int(mi[0])
m2 = int(mi[1])
year = today.year
month = today.month
day = today.day
print(today)
url = "https://transit.yahoo.co.jp/search/result?flatlon=&fromgid=&from=%E6%9D%B1%E4%BA%AC&tlatlon=&togid=&to=%E5%93%81%E5%B7%9D&viacode=&via=&viacode=&via=&viacode=&via=&y={}&m={}&d={}&hh={}&m2={}&m1={}&type=1&ticket=ic&expkind=1&ws=3&s=0&al=1&shin=1&ex=1&hb=1&lb=1&sr=1&kw=%E5%93%81%E5%B7%9D".format(year,str(month).zfill(2),day,hour,m2,m1)
print(url)
response = requests.get(url)
#response.encoding = response.apparent_encoding
soup = BeautifulSoup(response.content,"html.parser")

roots = soup.find_all("li",class_="time")
for i in range(1,4,1):
    print(roots[i].get_text()[0:11])