webサイトのスクレイピング

Question

Python3を学習中の初学者です。
こちらのwebサイトの各section classの<a href>のURLを取得しようとしていたのですが、一つしかURLを取得出来ません。
1ページ132件あるため、1ページ分の取得方法があればご教授いただけると幸いです。

!pip install selenium
from selenium import webdriver
from time import sleep
import pandas as pd
import re
import csv

browesr=webdriver.Chrome()#chromedriver.exe
url="https://www.mercari.com/jp/search/?sort_order=&keyword=%E3%83%91%E3%83%A9%E3%83%96%E3%83%BC%E3%83%84&category_root=2&category_child=33&category_grand_child%5B349%5D=1&brand_name=&brand_id=&size_group=2&size_id%5B135%5D=1&size_id%5B136%5D=1&price_min=&price_max=&item_condition_id%5B1%5D=1&item_condition_id%5B2%5D=1&item_condition_id%5B3%5D=1&status_on_sale=1"
browesr.get(url)

ie=browesr.find_elements_by_class_name("items-box")
for elsem in ie:
    elem_url=[] #elsem
elems =elsem.find_elements_by_tag_name("a")
for elem in elems:
    elem_url.append(elem.get_attribute("href"))
print(elem_url)

#実行結果
['https://www.mercari.com/jp/items/m57414375460/']

Answer 1

Pythonはインデントでコードブロックを表現します。
インデントが終わったところで for で繰り返す範囲が切れてしまうため、次のような意図になってしまいます。

ie=browesr.find_elements_by_class_name("items-box")

for elsem in ie:
    elem_url=[] #elsem

# ie に対する繰り返しはここで終了してしまい、 elsem の値は ie の最後の値となる

elems =elsem.find_elements_by_tag_name("a")

for elem in elems:
    elem_url.append(elem.get_attribute("href"))　# <- 最後の items-box の要素だけ URL を取得

おそらくやりたかったことはこういうことではないでしょうか？

items_box_elements = browesr.find_elements_by_class_name("items-box")

elem_urls=[] # 初期化は for の外部で行わないと、毎回初期化されてしまう

for items_box_element in items_box_elements:

    anchors = items_box_element.find_elements_by_tag_name("a")

    for anchor in anchors:
        elem_urls.append(anchor.get_attribute("href"))

print(elem_url)

変数名も具体的に中身を表現するものにしましょう。
多少長くても他とかぶったりせず意味が理解できる方が間違いにくいです。

Comments

[hikari.13]

解決いたしました！ありがとうございました！