BeautifulSoupでDataFrameを使ってスクレイピン方法

Question

PythonのBeautifulSoup・Pandasを使って、下記のWEBをスクレイピングしたいです。
BeautifulSoupのスクレイピング勉強中です。

URL
centrairFligth

下記のようにカラム1個ずつで分けてデータを出力したいです。

実現したい結果

定刻[変更]	出発地[経由]	航空会社(コードシェア)	ターミナル	機種	現在の状況
08:55 08:47	福岡ANA 432ANA		T1	B738	到着済み
08:55 08:47	東京（羽田）	DLH4967 SAS9481 UAL7956	T1	B738	到着済み

現在の結果1カラムに全て入力されます。
1個ずつのカラムに分けることは可能でしょうか。

良い方法が見つからず、DataFrameで行っています。

コメントアウトしている部分ですが、
以前はdf=dfs[0] Tableで簡単に取得出来ておりましたが、
Tableからclassへ変更されたのでスクレイピングの取得が難しくなりました。

もしもう少し簡単な方法ありましたら、教えていただけますか。

お手数ですが、よろしくお願い致します。

現在の結果

定刻[変更]	出発地[経由]	航空会社(コードシェア)	ターミナル	機種	現在の状況
08:55 08:47福岡ANA 432ANAT1B738到着済み	08:55 08:47福岡ANA 432ANAT1B738到着済み	...

全体のコード

import pandas as pd
import time
from datetime import datetime as dt, date, timedelta
from dateutil.relativedelta import relativedelta
from selenium import webdriver
from bs4 import BeautifulSoup
from webdriver_manager.chrome import ChromeDriverManager

file_time= dt.now().strftime("%Y%m%d")

today= dt.now().strftime("%Y/%m/%d")

#保存ファイル指定
file="test"+file_time+".csv"

#url指定
url = 'https://www.centrair.jp/flight/search/?da=A&id=D&fd=20220503'

driver = webdriver.Chrome(executable_path=ChromeDriverManager().install())
#driver = webdriver.Chrome(executable_path="C:\selenium\chromedriver.exe")

#Chubuフライ情報のサイトを開く
driver.get(url)

#2秒待機
time.sleep(2)
#BeautifulSoup指定
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'html.parser')

#print(soup)
data= soup.find('div', class_='js-flight-search-result').text
print(data)

df = pd.DataFrame({'定刻[変更]': [data],'出発地[経由]': [data],'航空会社(コードシェア)': [data],'ターミナル': [data],'機種': [data],'現在の状況': [data]})
print(df)
# dfs = pd.read_html(html)
# df=dfs[0] 

# #Table print

# #print(df)

# #Excel形式でハルエネ出力-------------------
# #df.to_excel(file,index=False,encoding='utf-8')
df.to_csv(file,index=False,encoding="utf_8_sig")

Answer 1

#Chubuフライ情報のサイトを開く
driver.get(url)

#2秒待機 
time.sleep(5)
#BeautifulSoup指定
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'html.parser')

tbl = []
for li in soup.select('div.js-flight-search-result ul li'):
    data = {}
    # 定刻[変更]
    ft = li.select_one('span.flight-time-init')
    if ft is None: continue
    data['定刻[変更]'] = ft.text
    ct = li.select_one('span.flight-changetime')
    if ct: data['定刻[変更]'] += f'\n{ct.text}'
    # 出発地[経由]
    st = li.select_one('span.flight-destination')
    data['出発地[経由]'] = st.text if st else ''
    # 航空会社(コードシェア)
    fa = li.select_one('span.flight-airline')
    data['航空会社(コードシェア)'] = fa.text if fa else ''
    # ターミナル
    term = li.select_one('span[class*=flight-terminal]')
    data['ターミナル'] = term.text if term else ''
    # 機種
    model = li.select_one('span.flight-status-text02')
    data['機種'] = model.text.split(':')[-1].strip() if model else ''
    # 現在の状況
    status = li.select_one('span.flight-status-icon')
    data['現在の状況'] = status.text if status else ''
    #
    tbl.append(data)

df = pd.DataFrame(tbl)
print(df)

#
      定刻[変更]    出発地[経由]            航空会社(コードシェア) ターミナル  機種 現在の状況
0   08:55\n08:47            福岡                        ANA 432ANA         T1  B738   到着済み
1   09:30\n09:27            仙台                        ANA 362ANA         T1  DH8D   到着済み
2   10:10\n10:16            福岡                        ANA 434ANA         T1  B738   到着済み
3   10:10\n10:05            大分            IBX 66IBEXエアラインズ         T1  CRJ7   到着済み
4          10:25  札幌（新千歳）                 ADO 130エア・ドゥ         T1  B737   到着済み
..           ...             ...                               ...        ...   ...        ...
74  22:10\n22:09    沖縄（那覇）               SKY 558スカイマーク         T1  B738   到着済み
75  22:10\n21:59    沖縄（那覇）  JTA 48日本トランスオーシャン航空         T1  B738   到着済み
76  22:30\n22:31  札幌（新千歳）               SKY 768スカイマーク         T1  B738   到着済み
77  22:35\n22:28  札幌（新千歳）                      APJ 466Peach         T1  A320   到着済み
78  22:45\n22:31          鹿児島               SKY 638スカイマーク         T1  B738   到着済み

[79 rows x 6 columns]

Comments

[fideo]

回答ありがとうございます。上記の方法で試してみます。

[fideo]

確認致しました。
航空会社(コードシェア)の取得が間違っております。
上記のコードだと便名を取得しております。

すいません、コードシェアは取得可能でしょうか。
例えば本日のであれば、
福岡ANA 432　THA6043⇨コードシェアになります。

下記の方法で試してみましたが、コードシェア取得できませんでした。

# 航空会社(コードシェア)
fa = li.select_one('span.flight-codeshare')
data['航空会社(コードシェア)'] = fa.text if fa else ''

# 航空会社(コードシェア)
fa = li.select_one('span.flight-code')
data['航空会社(コードシェア)'] = fa.text if fa else ''

もし分かりましたら、教えていただけると幸いです。