Beautifulsoupでエラー'NoneType' object has no attribute 'text' がでます

Question

前提・実現したいこと

書籍名から出版社名を得て、Googleスプレッドシートにまとめたいです。Colabで作業しています。
https://teratail.com/questions/304423で同じことを国会図書館のAPIを使用して実現しようとしましたが、難儀しているためスクレイピングによる解決を目指したいと思います。

https://qiita.com/Azunyan1111/items/b161b998790b1db2ff7aを参考に、大幅に引用しています。

発生している問題・エラーメッセージ

https://honto.jp/netstore/search.html?gnrcd=1&k=%E3%82%A8%E3%83%BC%E3%82%B9%E8%96%AC%E7%90%86%E5%AD%A6&extSiteId=junkudo&cid=eu_hb_jtoh_0411&srchf=1
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-35-9e745ffb8004> in <module>()
     35 
     36   # CSSセレクターを使って指定した場所のtextを表示します
---> 37   print(soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").text)
     38   publisher = soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").text
     39   #sheetに反映

AttributeError: 'NoneType' object has no attribute 'text'

該当のソースコード

import numpy as np
from pandas import DataFrame
import xml.etree.ElementTree as ET
import requests
from collections import defaultdict
from google.colab import files
import urllib.request
from bs4 import BeautifulSoup

ss_url = "https://docs.google.com/spreadsheets/d/ooooooo"
workbook = gc.open_by_url(ss_url)
worksheet = workbook.get_worksheet(1)

cell_list = worksheet.range("A3:A5")
for cell in cell_list:

  # 検索条件
  title    = cell.value

  # 検索用語を変換
  search_word = urllib.parse.quote(title)
  # アクセスするURL
  url = "https://honto.jp/netstore/search.html?gnrcd=1&k=" + search_word + "&extSiteId=junkudo&cid=eu_hb_jtoh_0411&srchf=1"
  print(url)
  # URLにアクセスする 戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます
  instance = urllib.request.urlopen(url)

  # instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします
  soup = BeautifulSoup(instance, "html.parser")

  # CSSセレクターを使って指定した場所のtextを表示します
  print(soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").text)
  publisher = soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").text
  #sheetに反映
  worksheet.update_cell(cell.row, cell.col +1, publisher)

試したこと

print(soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").text)
を
print(soup.select_one("#displayOrder1 > div > div.stInfo > div.stContents > ul > li:nth-child(4) > a").string)
にしましたが特に変わりません。

https://qiita.com/booleanoid/items/211820516eb7a2191b32
を調べましたが、どうも別の問題かもしれません。

Seleniumを使う方法も模索中ですが、解決につながるかはわかりません。

Answer 1

soup.select_one(～～～)の結果がNoneということです。
つまり、指定したノードは存在しません。

print(urllib.request.urlopen(url).read())して、HTMLをよく見直しましょう。

ブラウザの開発者ツールなどで見たものを元にコードを書いたとすると、
・JavaScriptで動的に追加されたノードである
・フレームの中のノードである
などが、過去の質問によくあった例です。

Comments

[XTJP]

ご回答ありがとうございます。早速、
`print(urllib.request.urlopen(url).read())`を実行し、長い出力が得られました。おそらくこれがHTMLなのでしょうか。
Chromeの開発者ツールでセレクターをコピーしたものを元にコードを書いています。
・JavaScriptで動的に追加されたノードである
・フレームの中のノードである
不勉強のため、上の意味するところがあまりわからないので明日調べてみます。

[otn]

「ウェブアプリの基本」みたいな入門書でまず入門すると良いかと思います。