質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

BeautifulSoupでDataFrameを使ってスクレイピン方法

fideo
fideo

総合スコア34

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

-3評価

0クリップ

230閲覧

投稿2022/05/03 08:01

PythonのBeautifulSoup・Pandasを使って、下記のWEBをスクレイピングしたいです。
BeautifulSoupのスクレイピング勉強中です。

URL
centrairFligth

下記のようにカラム1個ずつで分けてデータを出力したいです。

実現したい結果

定刻[変更]出発地[経由]航空会社(コードシェア)ターミナル機種現在の状況
08:55 08:47福岡ANA 432ANAT1B738到着済み
08:55 08:47東京(羽田)DLH4967 SAS9481 UAL7956T1B738到着済み

現在の結果1カラムに全て入力されます。
1個ずつのカラムに分けることは可能でしょうか。

良い方法が見つからず、DataFrameで行っています。

コメントアウトしている部分ですが、
以前はdf=dfs[0] Tableで簡単に取得出来ておりましたが、
Tableからclassへ変更されたのでスクレイピングの取得が難しくなりました。

もしもう少し簡単な方法ありましたら、教えていただけますか。

お手数ですが、よろしくお願い致します。

現在の結果

定刻[変更]出発地[経由]航空会社(コードシェア)ターミナル機種現在の状況
08:55 08:47福岡ANA 432ANAT1B738到着済み08:55 08:47福岡ANA 432ANAT1B738到着済み...

全体のコード

import pandas as pd import time from datetime import datetime as dt, date, timedelta from dateutil.relativedelta import relativedelta from selenium import webdriver from bs4 import BeautifulSoup from webdriver_manager.chrome import ChromeDriverManager file_time= dt.now().strftime("%Y%m%d") today= dt.now().strftime("%Y/%m/%d") #保存ファイル指定 file="test"+file_time+".csv" #url指定 url = 'https://www.centrair.jp/flight/search/?da=A&id=D&fd=20220503' driver = webdriver.Chrome(executable_path=ChromeDriverManager().install()) #driver = webdriver.Chrome(executable_path="C:\selenium\chromedriver.exe") #Chubuフライ情報のサイトを開く driver.get(url) #2秒待機 time.sleep(2) #BeautifulSoup指定 html = driver.page_source.encode('utf-8') soup = BeautifulSoup(html, 'html.parser') #print(soup) data= soup.find('div', class_='js-flight-search-result').text print(data) df = pd.DataFrame({'定刻[変更]': [data],'出発地[経由]': [data],'航空会社(コードシェア)': [data],'ターミナル': [data],'機種': [data],'現在の状況': [data]}) print(df) # dfs = pd.read_html(html) # df=dfs[0] # #Table print # #print(df) # #Excel形式でハルエネ出力------------------- # #df.to_excel(file,index=False,encoding='utf-8') df.to_csv(file,index=False,encoding="utf_8_sig")

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。