pythonでURLをリストに格納して、特定の文字列を含む行を抽出したい

Question

前提・実現したいこと

pyhonでリストに入れたURLの特定の文字列だけを抽出したい。

発生している問題・エラーメッセージ

pythonを初めて３ヶ月めです。youtubeやネットで見たものをなんとなく理解することができるのですが、ちょっと要件が変わるとどうしていいかわからなくなります。

指定したURL一つだけの特定の文字列を取得するところまではいけたのですが
下記のコードの

url="https://ena-kagu.com/product.php?id=215"

をリストにし、複数URLをいれてスクレイピングできるようにしたいです。
ただ単に、↓のようにしてもできないようで手が止まってしまっています。。

url=　[

"https://ena-kagu.com/product.php?id=215"
"https://ena-kagu.com/product.php?id=216"
"https://ena-kagu.com/product.php?id=217"

      ]

該当のソースコード

import re
import requests
from bs4 import BeautifulSoup


headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}
url="https://ena-kagu.com/product.php?id=215"
response = requests.get(url=url, headers=headers)
html = response.content
soup = BeautifulSoup(html, "lxml")


#ここで「商品管理番号」内のテキストを全取得
all_text=soup.find(class_="pro-description").text


#ここで取得したテキストを1行ずつ分割してリストに収納
all_text_list=all_text.split("\n")



for text in all_text_list:
    if "商品管理番号" in text:
        print(text)

補足情報（FW/ツールのバージョンなど）

jupyter labを使用しています。

Answer 1

変数urlに目的のurlが入っているときに処理ができるようになっているのですがら、そこをforループにして、リストの内容をurlに入れながら処理すればいいでしょう。

import re
import requests
from bs4 import BeautifulSoup


headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}

urls = ["https://ena-kagu.com/product.php?id=215",
        "https://ena-kagu.com/product.php?id=216",
        "https://ena-kagu.com/product.php?id=217"]

for url in urls:
    response = requests.get(url=url, headers=headers)
    html = response.content
    soup = BeautifulSoup(html, "lxml")

    #ここで「商品管理番号」内のテキストを全取得
    all_text=soup.find(class_="pro-description").text

    #ここで取得したテキストを1行ずつ分割してリストに収納
    all_text_list=all_text.split("\n")

    for text in all_text_list:
        if "商品管理番号" in text:
            print(text)

ただし、これだと、取得したものを表示するだけで後で利用できるようにはなっていないので、後で使いたいのであれば、工夫が必要ですね。

Comments

[hafuuuuu]

早速のご返答ありがとうございます！

ご教示いただいたものを試してみたところ、「商品管理番号11213」だけ出力され下記のエラーがでました。
----------------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-13-1eeac1e4e1cc> in <module>
5
6 #ここで「商品管理番号」内のテキストを全取得
----> 7 all_text=soup.find(class_="pro-description").text
8
9 #ここで取得したテキストを1行ずつ分割してリストに収納

AttributeError: 'NoneType' object has no attribute 'text'
----------------------------------------------------------------------------------

all_text=soup.find(class_="pro-description").text　の下で
print(all_text)で確認したところURLの一つ目である「https://ena-kagu.com/product.php?id=215」の情報しか出力されなかったので繰り返しの処理がうまくできないのでしょうか？

お手数おかけしますが、こちらもお教えいただけますと幸いです。

[TakaiY]

ループがうまくいっていないなら、1つめも出ないでしょ。

all_text=soup.find(class_="pro-description").text
この処理で
'NoneType' object has no attribute 'text'
このエラーが照ているということは、
soup.find(class_="pro-description")
この部分の結果がNoneだったということ

返り値にpro-descriptionという項目がなかったのでしょう。

[hafuuuuu]

すみません、私のミスでURLのリストで一番最初の「https://ena-kagu.com/product.php?id=215」以外リンクが切れていました。

他のURLでためしたところうまくいきました！
ありがとうございました。