for文を使って英単語をスクレイピングしたいが途中で終わってしまう

Question

リンク内容

このページの英単語と日本語訳すべてをスクレイピングするコードを書いている途中なのですがfor文が四回しか回らず
divorce　：離婚　の行で毎回終了してしまいます。
1～3回目までのfor文は正しく出力されているので指定箇所は間違っていないと思うのですがそれ以降の出力がうまくいきません。
初歩的な質問かもしれませんがよろしくお願いします。

#coding=UTF-8
from time import sleep
import pandas as pd
import requests
from bs4 import BeautifulSoup
from PIL import Image
import io
import time

url = 'https://eigo-duke.com/tango/kou3.html'
res = requests.get(url)
soup = BeautifulSoup(res.content,'html.parser')

eng_w = []
eng_elems = soup.select('.eng')
for i,elem in enumerate(eng_elems):
    texteng = elem.getText()
    eng_w.append(texteng)
    #print(i,elem)

jp_w = []
jp_elems = soup.select('.jap')
for i,elem in enumerate(jp_elems):
    textjp =elem.getText()
    jp_w.append(textjp)
    #print(i,elem)

#print(jp_w)
#print(eng_w)


a = soup.find_all('div',attrs={'class':'eng'})
#print(a)

b = soup.find_all('div',attrs={'class':'jap'})
#print(b)

c = soup.find_all('table',attrs={'class':'tangotable'})
#print(c)

開発環境
windows10
python3.7
anaconda

Comments

[meg_]

> divorce　：離婚　の行で毎回終了してしまいます。
> それ出力がうまくいきません。
「soup」の中身がそこまでなのではないですか？

[CHERRY]

URLから requests で読み込んだだけでは、４件しか無いですね。

「単語ぜんぶ見る」というボタンで、JavaScript を実行して続きを表示しているので、JavaScript が実行できない requests では取得できません。

Selenium 等の JavaScript が実行できる方法を使用する必要があります。

[Kokku]

Selenium 等の JavaScript が実行できる方法を調べ、実行してみました。driver.execute_script("xxxxxxxx")のｘに「単語ぜんぶ見る」のonclick="loadScript(15);gtag('event', 'click', {'event_category': 'quiz', 'event_label': 'tangoindex'});"をコピペし実行してみましたがonclick内のloadScript に対してloadScript is not definedというエラーが出ました。

Answer 1

「単語ぜんぶ見る」ボタンをクリックすることで全ての英単語と日本語訳が JavaScript によってレンダリング(表示)されますので、その URL の HTML コードをスクレイピングしても最初の 4 個の単語しか取得できません。

ウェブブラウザの DevTools を利用して通信状況を眺めてみると、XMLHttpRequest によってデータを取得しています。なので、例えば以下の様にして全ての英単語・日本語訳を取得することも可能です。

import requests
import json

url = 'https://eigo-duke.com/common/php/getQuestionBankDatas.php?no=6'
res = requests.get(url)

text = json.loads(res.text)

words = []
for i in text['category']:
    words.append([i['question'], i['answer'][0]['dat']])

from pprint import pprint
pprint(words)

#
[['logic', '論理'],
 ['companion', '仲間'],
 ['exception', '例外'],
 ['divorce', '離婚'],
 ['infant', '幼児'],
 ['courage', '勇気'],
 ['appointment', '約束'],
      :
      :
      :

Comments

[Kokku]

回答ありがとうございます。ページ内のテキスト抽出ならスクレピングだという考えしかなかったです。全部スクレピングというのではなくこうゆうやり方もあるのですね。初めて知りました。このコードで正しく自分が抽出したかった単語をとることができました。ありがとうございました。