webスクレイピングで語呂合わせを抽出

Question

以下（↓より下）のコードを実行し、あるサイトから語呂合わせを57個抽出する作業をしているのですが、
最後のelemsssのみどうしても空リストで返ってきてしまいます。
また、elemsss = soup.select("#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ul")[0].text
このように指定すると、IndexError: list index out of rangeが発生してしまいます。
どうにか語呂合わせを抽出できないでしょうか？

↓
import requests

from bs4 import BeautifulSoup

b = []
for i in range(1,58):
url = "https://input.medilink-study.com/detail.php?index=" + str(i)
b.append(url)

elemss = []
elemsss = []

for i in b:

res = requests.get(i)
k = res.text
soup = BeautifulSoup(k,'html.parser')

elems = soup.select("#detail > header > h1")[0].string
print(elems)
try:   
    elemss = soup.select("#detail > div.bg.bg-theme.border.type-detail > div > div > article > h2")[0].text
    print(elemss)
        
except IndexError:
    continue

elemsss = soup.select("#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ul")
print(elemsss)

Comments

[Takumiboo]

IndexError: list index out of range
のエラーの意味は理解していますか？

[yy-_.15]

今回は空リストのため、インデックスを指定してもエラーが発生するのではないかと
思っています！

[Takumiboo]

では、そこを改善するだけですね。

[yy-_.15]

なぜ空リストになってしまうのでしょうか？

[Takumiboo]

それはページの内容を見ないと分かりませんが、単純に考えたらページの構造とスクレイピングするパスの指定が食い違っているのではないでしょうかね。

[yy-_.15]

抜き出したい場所を選択、右クリックでcopy selectorで
きちんと抜き出したつもりではいるのですが。。

Answer 1

ログインが必要なページとなっている様ですが
ログイン処理を行っているといった前提であれば以下でそれぞれが取得可能だと思います。

import requests
from bs4 import BeautifulSoup
import time

url = "https://input.medilink-study.com/detail.php?index={}"
for i in range(1, 58):
	res = requests.get(url.format(i))
	soup = BeautifulSoup(res.content, 'html.parser')
	# お題と回答の取得
	elements = soup.select('.heading')
	title = elements[0].string
	answer = elements[1].text

	# 解説の取得
	elements2 = soup.select("#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ul")
	commentaries = [cmt.text for cmt in elements2]
	time.sleep(1)

追記

上記ではログインしている事を前提で～と回答を致しましたが
恐らくは質問者様はスクレイピングの際にログイン処理は行っていないでしょう。
ログイン処理については恐らくはseleniumを使用した方が簡易的でしょう。
となると、各項の取得もrequestsを使用するのではなくselenium上で取得を行い
driver.page_sourceでソースを取得しBSで各要素を出力するというのがベストな方法だと思います。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time

idpw = ('ID', 'PASSWORD')
url = 'https://input.medilink-study.com/index.php'
target = "https://input.medilink-study.com/detail.php?index={}"


options = Options()
options.add_argument('--headless')	# ←コメントアウトでヘッドレスモード解除
driver = webdriver.Chrome(chrome_options=options)
driver.implicitly_wait(10)
driver.get(url)

# ログイン処理
login_button = driver.find_element_by_class_name('icon-login').click()
driver.find_element_by_class_name('cmn-form-userid').send_keys(idpw[0])
driver.find_element_by_class_name('cmn-form-password').send_keys(idpw[1])
driver.find_element_by_class_name('cmn-form-login-button').click()
time.sleep(5)


for i in range(1, 58):
	driver.get(target.format(i))
	html = driver.page_source
	soup = BeautifulSoup(html, 'html.parser')

	# お題と回答の取得
	elements = soup.select('.heading')
	title = elements[0].string
	answer = elements[1].text

	# 解説の取得
	elements2 = soup.select("#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ul > li")
	commentaries = {}
	if len(elements2) != 0:
		for cmt in elements2:
			key, value = cmt.select('div')
			key, value = key.text, value.text
			commentaries[key] = value
	# 解説要素がなかった場合
	else:
		commentaries = 'comment was none'

	print(title, answer)
	print(commentaries)
	print('='*50)
	time.sleep(1)

Comments

[Takumiboo]

っていうところまで質問者さんに気づいていただきたかったんですけどね…。

[nto]

質問者様はやりたい事は明示的、コードを書くという事(行動)はできる
ただ、実践的なコードの扱い方はまだ初心者であると判断し、今回追記を致しました。
具体的にはfor文あたりがもう少し正確にかけていたならば、追記でコードの提示はしないつもりでしたが、、、
あとは個人的に、出来ていないとわかっていながら「ログイン処理を行っているといった前提であれば」といった回答も嫌味ったらしく感じてしまい追記を行いました。

[yy-_.15]

なるほど、ログインの状態がリストを取得できるか左右していたのですね。。。
気づけなくて申し訳ないです。。勉強不足なのでまたしっかり出直してきます！
お二人の方、ありがとうございました！！！

Answer 2

https://input.medilink-study.com/detail.php?index=1にアクセスしてみましたが、#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ulは存在しませんでした。
ログイン状態によって表示内容が異なるのでは？

ところで、サービスによってはスクレイピングが禁止されていることもありますが、そのあたりは大丈夫なんですかね。

Comments

[yy-_.15]

そうなんですね！
個人的に抜き出したいテキスト部分にJavascriptが使用されているため,
selectでは抜き出せないのかと思っているのですがどうでしょうか？

すみません、社に問い合わせてみます

[yy-_.15]

たぶんログインされていないため、#detail > div.bg.bg-theme.border.type-detail > div > div > article > div:nth-child(5) > ulは存在していないのだと思います。
こちらは詳細解説の方にあるものですので

[Takumiboo]

ではそれが原因でしょうね。

[yy-_.15]

Javascriptが使用されているかどうかはどのようにして見分ければ良いのでしょうか？

[yy-_.15]

また、Javascriptが使用されている場合、Xpathなどを使用すればよいでしょうか？
連投すみません。。

[Takumiboo]

どこからJavaScriptの話になりましたか？