【Python】CSVファイルから、URLを取得してスクレイピングする

Question

前提

Pythonで複数のURLが記載されたCSVファイルから
順番にURLを取得してaタグからURL、h1タグからタイトルなどをスクレイピングしたいです。

csvに書かれた複数のURLを順番に。というのがうまくできずアドバイスいただきたいです。
csvの最後に書かれたURLのみだけをスクレイピングしている状況です。

実現したいこと

• 複数のURLが書かれたcsvを読み込む
• 読み込んだURLにアクセスする
• アクセスしたページのタイトルを取得する
• 同じくアクセスしたページのaタグからURLを取得する
• 上記で取得したURLがリンク切れ(ステータスコード200以外)の場合のみ該当URLを新規csvに書き込む

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "csv_processing.py", line 39, in <module>
    resp = requests.get(url)
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\api.py", line 75, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\sessions.py", line 515, in request
    prep = self.prepare_request(req)
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\sessions.py", line 443, in prepare_request
    p.prepare(
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\models.py", line 318, in prepare
    self.prepare_url(url, params)
  File "C:\Users\PC002\AppData\Roaming\Python\Python38\site-packages\requests\models.py", line 392, in prepare_url
    raise MissingSchema(error)
requests.exceptions.MissingSchema: Invalid URL '/': No scheme supplied. Perhaps you meant http:///?

該当のソースコード

import csv
from csv import reader
import time
from concurrent.futures import ThreadPoolExecutor
import requests
from bs4 import BeautifulSoup


# -----------------------------------
# リンクチェック
# -----------------------------------

# CSVを読み込む
# as fw:で、開いたファイルをfwというオブジェクトに置き換えて利用できるように
with open("cat_url.csv") as fw:

    # fwというオブジェクトをCSVモジュールのreaderメソッドを利用して読み込み
    csv.reader(fw)
    # csv.reader(fw)で読み込んだ内容を1行単位でcar_url_listというオブジェクトに代入
    for car_url_list in csv.reader(fw):

        # アクセスするURL
        resp = requests.get(car_url_list[0])
        print(resp)
        # BeauttifulSoupを使用してHTML整形
        soup = BeautifulSoup(resp.text, 'html.parser')
        # タイトルを取得
        title = soup.find("h1").get_text()

        # aタグからURLを取得し、HTTPリクエストを送る
        for link in soup.find_all('a'):

            # URLを取得し、HTTPリクエスト
            url = link.get('href')
            if url is None:
                continue
            elif url == '#':
                continue
            resp = requests.get(url)

            # 条件分岐（リンク切れの場合のみcsvに書き出し）
            if resp.status_code == 200:
                print("NG URL : " + url)

                # 結果をCSVに出力する
                file = open('a_href.csv','a')
                file.write(str(resp.status_code) + ',' + url + '\n')
                file.close()

試したこと

URLが記載されたcat_url.csv（URLが1列に縦に並んでいます）があります。
この時、下記部分にcat_url.csvからURLを順に取得していけばよいのかなと考えているのですが、
resp = requests.get(URL)
cat_url.csvの最後に記載されたURLのみだけが取得されて処理が終わってしまいます。
見落としている視点はありますか？
アドバイスいただけますと幸いです。

補足情報

Windows11
anaconda navigator 2.3.1
python 3.8.13
scrapy 2.4.1
requests 2.28.1
vscode 1.72.0

Comments

[meg_]

> csvの最後に書かれたURLのみだけをスクレイピングしている状況です。
何かしらのエラーが発生しているようですが、「スクレイピング」自体は出来ているということでしょうか？

[melian]

コメントに「リンク切れの場合のみcsvに書き出し」と書かれていますが、

if resp.status_code == 200:

としていますので、HTTP request が成功した場合に CSV に出力することになります。

[15ia]

ご質問ありがとうございます！
スクレイピング部分の途中で見落としている点があり、処理がうまくいっておりませんでした。
こちら修正することで処理がうまく動きそうです。
閲覧ご確認いただきありがとうございました。

Answer 1

見落としている視点はありますか？

a タグの href が 相対パス 相対URL の場合を見落としているのではないかな。
<a href="/">Top Page</a> みたいなケース

            url = link.get('href')
            if url is None:
                continue
            elif url == '#':
                continue
            resp = requests.get(url)

が正しいURLなら期待通りに動きそうですが、
相対path 相対URL の場合等、url の確認が不十分です。

エラー自体は、以下のコードで同じエラーを確認できます

import requests
requests.get("/")

# requests.exceptions.MissingSchema: Invalid URL '/': No scheme supplied. Perhaps you meant http:///?

Comments

[15ia]

ご回答いただきありがとうございます！
おしゃる通り、相対パスなどの場合を想定できておらずエラーが発生し、途中で処理が中断しておりました。
条件分岐部分も見直し、調整してみます。
ありがとうございました！

[otn]

> みたいなケース
href="/" は絶対パスです。 相対パスは href="foo/" のように先頭が / でないもの。
「相対パス」と「相対URL（http・httpsで始まらない物）」との混同でしょうか。
「URL」と「パス」は別概念です。

[teamikl]

用語の誤用でしたね、指摘感謝
URLについてなので意図は伝わっていると思いますが、
解答内の文章も相対URLに訂正しました。

[15ia]

ご指摘・修正いただきありがとうございます！
自然とURLとして考えておりましたので、無事解決することができました。
パスとURLの概念を間違えないよう、注意いたします。
ありがとうございました！

Answer 2

http://example.com/1,,
http://example.com/2,,
http://example.com/3,,

この内容のCSVで試しましたが普通に全てのURLに対して処理されてるみたいです

Comments

[15ia]

ご回答いただきありがとうございます！
aタグから取得したURLに相対パス等があるとエラーで途中で処理が止まってしまっているようでした。
こちら修正しましたら全てのURLに対して処理ができそうです。
ご確認いただきありがとうございました！