PythonのSeleniumで要素が無いテキストの抽出

Question

前提・実現したいこと

PythonのSeleniumでデータの抽出を作成しています。

[print(i, item) for i, item in enumerate(item_list)]

上記を実行後に以下のようにしたいのですが、うまくできませんでした。
良い方法を教えていただけますでしょうか。

0 ['hogehoge-1', '¥9,000']
1 ['hogehoge-1SS', '¥13,500']
2 ['hogehoge-2', '¥12,000']
3 ['hogehoge-2SS', '¥18,000']
4 ['hogehoge-3', '¥13,000']
[None, None, None, None, None]

該当のソースコード

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import chromedriver_binary
import time

options = Options()
options.add_argument('--incognito')
options.add_argument('--blink-settings=imagesEnabled=false')
driver = webdriver.Chrome(chrome_options=options)
driver.implicitly_wait(60)
driver.get("https://www.hogehoge.com/")
time.sleep(3)

from datetime import datetime
import openpyxl as px
from openpyxl.styles import PatternFill
from bs4 import BeautifulSoup as bs4
import re

def Pagecrawling(soup, item_list):
  ### ※1
  products = soup.find_all('div', class_=re.compile('item_info_area'))
  ### ※1
  for product in products:
    Knumber = product.find_all('p', class_=re.compile('pronumber'))
    Kprice = product.find_all('em', )
    for (numnum, pripri) in zip (Knumber, Kprice):
      number = numnum.get_text().replace('\n', '')
      price = pripri.get_text()
      item_list.append([number, price])
  return item_list

r = driver.page_source
soup = bs4(r,'lxml')
item_list = []
item_list = Pagecrawling(soup, item_list)

### ※2
[print(i, item) for i, item in enumerate(item_list)]
### ※2

### ※1で抽出されるデータ

[<div class="item_info_area">
<div>
<p class="pronumber">品番</p>hogehoge-1<br/>
<p class="price">価格(税別) </p><em>¥9,000</em>
</div>
</div>, <div class="item_info_area">
<div>
<p class="pronumber">品番</p>hogehoge-1SS<br/>
<p class="price">価格(税別) </p><em>¥13,500</em>
</div>
</div>, <div class="item_info_area">
<div>
<p class="pronumber">品番</p>hogehoge-2<br/>
<p class="price">価格(税別) </p><em>¥12,000</em>
</div>
</div>, <div class="item_info_area">
<div>
<p class="pronumber">品番</p>hogehoge-2SS<br/>
<p class="price">価格(税別) </p><em>¥18,000</em>
</div>
</div>, <div class="item_info_area">
<div>
<p class="pronumber">品番</p>hogehoge-3<br/>
<p class="price">価格(税別) </p><em>¥13,000</em>
</div>
</div>, <div class="item_info_area">
</div>]

### ※2で出力されるデータ

###見やすくするためのコメント###

0 ['品番', '¥9,000']
1 ['品番', '¥13,500']
2 ['品番', '¥12,000']
3 ['品番', '¥18,000']
4 ['品番', '¥13,000']
[None, None, None, None, None]

試した内容

• BeautifulSoupでタグで囲まれていないテキストを取得する方法
• Python テキストのみスクレイピングする方法について
• .strings
• .next_sibling

上記をヒントに

for product in products:
  Kprice = product.find_all(class_="pronumber").text
  print(Kprice)

としてみましたが

Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "C:\Users\hogehoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\bs4\element.py", line 2173, in __getattr__
    raise AttributeError(
AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

とエラーが返ってきました。

補足情報（FW/ツールのバージョンなど）

• Python 3.8.7(32bit)
• ChromeDriver 87.0.4280.20
• 必要のない宣言がありますが、記載したコード以降で使いますので気にしないでください。
• パソコンスキルの教科書様のサイトを参考にコードを作成しました。

ttp://fastclassinfo.com/entry/yahooauction_python/

Answer 1

[print(i, item) for i, item in enumerate(item_list)]

print()の値はNoneなので、Noneのリストが出来ます。
リストのリストにしたいのなら、

[[i, item] for i, item in enumerate(item_list)]

です。

Comments

[退会済みユーザー]

回答ありがとうございます。
記載したソースコード以降でファイル出力するのですがどこにもNoneはおらず、
Noneの存在意義が分からなかったのですが疑問が解けました、大変勉強になります。