pythonのスクレイピングで必要なもののみ取得したい。

Question

前提

pythonのスクレイピングで
集まれどうぶつの森攻略サイトから家具の名前と画像URLを取得作っています
ほしい画像URL・画像名前以外のほかの不必要なURLなどを取得してしまう
サイトURL　https://game8.jp/atsumare-doubutsunomori/326140#hl_2

わかる方よろしくおねがいします！！

実現したいこと

ほしい画像URL・画像名前を取得したい

発生している問題

そのサイトにある広告などを取得してしまう

該当のソースコード

page_url = "https://game8.jp/atsumare-doubutsunomori/326140"
r = requests.get(page_url)

soup = BeautifulSoup(r.text, features="html.parser")

furniture_names = soup.find_all("img",attrs={"data-loaded":"true"})


furniture_lists = []

for furniture_name in furniture_names:
    name = furniture_name.get("alt")
    furniture_lists.append(name)
    print(name)

試したこと

・タグ名の変更
・srcからdata-srcへの変更

補足情報（FW/ツールのバージョンなど）

python 3.10

BeautifulSoup4

Comments

[y_waiwai]

ほしい画像URL、ってのはどういう条件のものなんでしょう。そこらへんの定義がわからないと答えようがありません

[ki-ma]

返信ありがとうございます。
ほしい画像URLは家具の画像です！
わかりにくくてすいません。。。

[Matsumon0104]

y_waiwaiさんがおっしゃている「条件」というのは、例えば「家具の画像には必ず「name="kagu_XX"」のような属性情報が登録されている」といったものかと思います。
「家具の画像」だけでは、プログラム上どこを改善したらよいかのアドバイスもできないかと思います。

[ki-ma]

なるほど。。
条件はimgのaltタグにある○○の画像の部分を取得したいです。

[otn]

> 条件はimgのaltタグにある○○の画像の部分を取得したいです。
「alt属性（altタグではない）に、"画像" という文字列が含まれる物」という意味ですか？

[ki-ma]

そうゆうことです！
説明足りなくてすいません。。

Answer 1

import requests
from bs4 import BeautifulSoup
from pprint import pprint

page_url = "https://game8.jp/atsumare-doubutsunomori/326140"
r = requests.get(page_url)
soup = BeautifulSoup(r.text, features="html.parser")
furnitures = soup.select('h3 + table.a-table td')

furniture_lists = []
for f in furnitures:
    url = f.select_one('img.a-img')
    if url is not None:
        url = url.get('data-src', None)
    if url is None: continue
    furniture_lists.append({'name': f.text.strip(), 'url': url})

pprint(furniture_lists, sort_dicts=False)

#
[{'name': 'アーケードゲーム(FTG)',
  'url': 'https://img.game8.jp/4948840/014054a4808ecdd0e80f50d233d38add.png/show'},
 {'name': 'アーケードゲーム(STG)',
  'url': 'https://img.game8.jp/4948847/09aba4b346d30bd52b45150258542633.png/show'},
 {'name': 'アーケードゲーム(TBL)',
  'url': 'https://img.game8.jp/4948827/2d21950d6f2222e554414c2edc223aa9.png/show'},
 {'name': 'アームのフロアランプ',
  'url': 'https://img.game8.jp/4948805/0c07f80166b0abaccc40a2210b03f49b.png/show'},
 {'name': 'アイランドキッチン',
  'url': 'https://img.game8.jp/6821080/14a40c2d75c214d651a8736d52993e83.png/show'},
                          :
                          :

Comments

[ki-ma]

ありがとうございます！
これで作業がはかどります！
ベストアンサーにさせていただきます！