PythonでIFRAMEタグの中身をスクレイピングしたい

Question

###スクレイピングしたい
研究のため、ある河川の水質データを利用したく、http://163.49.30.82/cgi-bin/DspWquaData.exe?KIND=5&ID=405071285512040&BGNDATE=20190920&ENDDATE=20190926&KAWABOU=NOの表の数値をスクレイピングしたく思っています。
requestsとbs4を利用して、中身を見てみたところ、<IFRAME>タグの中のsrcで指定されたパス？に数値が入っているようです。
その中身をスクレイピングして取得することはできますか？
やり方を教えていただきたいです。

現在のコード↓

import requests
from bs4 import BeautifulSoup

web = requests.get('http://163.49.30.82/cgi-bin/DspWquaData.exe?KIND=5&ID=405071285512040&BGNDATE=20190920&ENDDATE=20190926&KAWABOU=NO')

# print(web.headers)
print(web.encoding)
# print(web.content)

soup = BeautifulSoup(web.content,'html.parser')
print(web.content.decode('EUC-JP'))

Answer 1

上のフロッピーディスクの画像のリンクにCSVデータがありますのでそちらから解析された方がいいと思います。

CSVデータURLを取得

import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup
import datetime

url = 'http://163.49.30.82/cgi-bin/DspWquaData.exe?KIND=5&ID=405071285512040&BGNDATE=20190920&ENDDATE=20190926&KAWABOU=NO'

r = requests.get(url)

if r.status_code == requests.codes.ok:

    soup = BeautifulSoup(r.content, 'html.parser')

    # ページからデータのリンク先URLを取得
    link = urljoin(url, soup.select_one('body > center > p > a').get('href'))
    print(link)

CSVをDataFrameに変換

import pandas as pd

df = pd.read_csv(
    link,
    skiprows = 9,
    encoding = "shift_jis",
    names=["年月日", "時分", "採水位置", "水温", "ｐＨ", "ＤＯ", "導電率", "濁度", "ＣＯＤ", "シアンイオン", "アンモニアイオン", "塩化物イオン", "BOD", "塩分濃度", "水位"],
    parse_dates=["年月日"],
)

年月日、時分から日時に変換

import datetime

def str2time(temp):
    H, M = map(int, temp.split(':'))
    return datetime.timedelta(hours=H, minutes=M)

df['日時'] = df['年月日'] + df['時分'].apply(str2time)
df.set_index('日時', inplace=True)

年月日、時分を除外

df1 = df.loc[:,["採水位置", "水温", "ｐＨ", "ＤＯ", "導電率", "濁度", "ＣＯＤ", "シアンイオン", "アンモニアイオン", "塩化物イオン", "BOD", "塩分濃度", "水位"]]

print(df1)

Comments

[sodiumplus3]

本当ですね！丁寧にありがとうございます。そちらの方法で進めていきたいと思います。

後学のために、もし質問の方法がお分かりでしたら補足などしていただけると幸いです。

Answer 2

これだけは覚えておきたい！絶対パスと相対パスの違いとは【初心者向け】
https://techacademy.jp/magazine/5801

スクレイピングは相手に迷惑がかかるので一度本等を読んで基本を勉強されてからされるほうがよいかと思います。

Pythonクローリング＆スクレイピング［増補改訂版］―データ収集・解析のための実践開発ガイドー
https://gihyo.jp/book/2019/978-4-297-10738-3

import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup

def get_data(url):

    r = requests.get(url)

    soup = BeautifulSoup(r.content, 'html.parser')
    
    result = [[td.get_text() for td in tr.select("th, td")] for tr in soup.select('table[border="1"] > tbody > tr')]

    return result
            
        
if __name__ == "__main__":
    
    url = 'http://163.49.30.82/cgi-bin/DspWquaData.exe?KIND=5&ID=405071285512040&BGNDATE=20190920&ENDDATE=20190926&KAWABOU=NO'

    r = requests.get(url)

    if r.status_code == requests.codes.ok:

        soup = BeautifulSoup(r.content, 'html.parser')

        # ページからURLを取得、結合
        link = urljoin(url, soup.select_one('body > center > p > iframe').get('src'))

        print(link)

        result = get_data(link)
        
        print(result)

Answer 3

srcのパスをクリックするとページが表示されますね。
そのページのURLをコピーしてそのページをスクレイピングしてみましょう。

• IFRAMEタグに記載のパスと開いたあとにブラウザのURL欄に記載のURLは少し違うはずです。

Comments

[sodiumplus3]

回答ありがとうございます。
srcのパスの記述が`"/html/frm/WQuaAutoData2019092621214325756.html"`で特にクリックなどしてもページは表示されないのですが、どうすればよいでしょうか？