Python スクレイピング 特定のクラスのみ抽出したい

Question

前提・実現したいこと

実現したいこと
英単語の問題で自分が間違ったもののみを抽出したい

自分が考えている流れ
下記に書いたHTML文を抽出（ここまでできた）→その中から不正解の問題のみの英単語,日本語訳を取り出す（ここが分からない）

使っているもの:
Python3
Selenium
Chrome

発生している問題・エラーメッセージ

該当のソースコード

<a data-v-2d259044="" href="#" class="result-check-line">
　<div data-v-2d259044="" class="result-check-line__main">
　　<div data-v-2d259044="" class="result-check-line__main__top">
　 　<span data-v-2d259044="">install</span>
　　</div>
　　<div data-v-2d259044="" class="result-check-line__main__sub">
　 　<span data-v-2d259044="">設置する、導入する</span>
　　</div>
　</div> 
　<div data-v-2d259044="" class="result-check-line__icon">
　 <div data-v-2d259044="" class="result-check-line__true-false is-true">
</div> 
</a>



<a data-v-2d259044="" href="#" class="result-check-line">
　<div data-v-2d259044="" class="result-check-line__main">
　　<div data-v-2d259044="" class="result-check-line__main__top">
 　　<span data-v-2d259044="">orientation</span>
　　</div> 
　　<div data-v-2d259044="" class="result-check-line__main__sub">
　 　<span data-v-2d259044="">新入社員向け説明会</span>
　　</div>
　</div> 
　<div data-v-2d259044="" class="result-check-line__icon">
　 <div data-v-2d259044="" class="result-check-line__true-false is-false">
</div>
</a>

<a data-v-2d259044="" href="#" class="result-check-line">
　<div data-v-2d259044="" class="result-check-line__main">
　　<div data-v-2d259044="" class="result-check-line__main__top">
　　　<span data-v-2d259044="">renowned</span>
　　</div>
 　　<div data-v-2d259044="" class="result-check-line__main__sub">
　　　<span data-v-2d259044="">名高い、著名な</span>
　　</div>
　</div>
  <div data-v-2d259044="" class="result-check-line__icon">
　　<div data-v-2d259044="" class="result-check-line__true-false is-false">
</div>
</a>

下記が上記のコードで私が解答した正誤が分かる箇所
つまり、installのほうは正解でorientation、renownedは不正解

 <div data-v-2d259044="" class="result-check-line__true-false is-false">　

 <div data-v-2d259044="" class="result-check-line__true-false is-true">

classの部分で抽出するものを分けたいがどうすればいいのかさっぱり

from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')
url = '********'
driver.get(url)

elems_Q = driver.find_elements_by_class_name('result-check-line__main__top')
elems_Q[0].text #output -> 'install'

elems_A = driver.find_elements_by_class_name('result-check-line__main__sub')
elems_A[0].text #output -> '設置する、導入する'

###試したこと

#単純な英単語、日本語訳の抽出はできた
elems_Q = driver.find_elements_by_class_name('result-check-line__main__top')
elems_Q[0].text #output -> 'install'

elems_A = driver.find_elements_by_class_name('result-check-line__main__sub')
elems_A[0].text #output -> '設置する、導入する'



#理想はここで不正解のみ(orientation, 新入社員向け説明会とrenowned, 名高い、著名な)を出力してほしかった
elems_F = driver.find_elements_by_class_name('result-check-line__true-false is-false')
elems_F
#output -> []　要素がないので当たりですが空っぽ

自分でもよくわかっていないので質問が非常に分かりにくくなっていると思いますがよろしくお願いします。

Comments

[meg_]

そのサイトはスクレイピングが禁止されていないサイトでしょうか？

[kmkr]

利用するサイトの利用規約を見ましたが、私の解釈では禁止行為には当たらないと思っていたのですが一応そのサイトの運営に問い合わせたほうがいいですかね？

[kmkr]

HTML文からスクレイピングが禁止されてるサイトって判別できるのでしょうか？

[meg_]

利用規約を確認するしかないかと思います。禁止事項に該当しないのであれば良いかと思います。（回答する前の念のための確認でした）

[kmkr]

なるほど。回答するのにそこまで考えてくださっていたのですね。お気遣いすごくうれしいです！ありがとうございます！

Answer 1

サンプルのelems_Qには，htmlを上から探した順にclassに一致する要素が格納されています．
よってelems_Qの2つ目以降の要素を探せば見つかります
htmlが完全ならelems_Qとelems_Aの要素数は等しく，順番にアクセスすれば対になって得られます

欠損がある場合は英語，日本語共通の親のリストを取得し，その親から英語，日本語を探すことで，何が欠損しているかわかります

from selenium import webdriver


PATH = "path/to/html"
DRIVER_PATH = "path/to/driver"

browser = webdriver.Chrome(executable_path=DRIVER_PATH)
browser.get(PATH)

elems_Q = browser.find_elements_by_class_name('result-check-line__main__top')

elems_A = browser.find_elements_by_class_name('result-check-line__main__sub')

print(elems_Q[1].text) #output -> 'orientation'
print(elems_A[1].text) #output -> '新入社員向け説明会'

#2つのリスト
for Q, A in zip(elems_Q, elems_A):
    print(Q.text, ":", A.text)
"""output
install : 設置する、導入する
orientation : 新入社員向け説明会
"""

elmes_lines = browser.find_elements_by_class_name('result-check-line')

#Q,Aが同時に得られる1つのリスト
for line in elmes_lines:
    Q = line.find_element_by_class_name('result-check-line__main__top')
    A = line.find_element_by_class_name('result-check-line__main__sub')
    print(Q.text,":",  A.text)
"""output
install : 設置する、導入する
orientation : 新入社員向け説明会
"""

蛇足になりますが，サンプルは関係のある個所(今回はimport文とbrowserの宣言など)を漏らさず書いておくと，回答しやすいです

追記

失礼しました
いつの間にか本題を見失っていたようです
このようにif文で"is-false"の要素が存在するかどうかで場合分けするとよいです

for line in elmes_lines:
    is_false = line.find_elements_by_class_name("is-false")
    #不正解ならclass="is-false"の入ったリスト
    #正解なら空リスト
    #空リストはif文で偽と判定
    if is_false:
        Q = line.find_element_by_class_name('result-check-line__main__top')
        A = line.find_element_by_class_name('result-check-line__main__sub')
        print(Q.text,":",  A.text)
"""output
orientation : 新入社員向け説明会
"""

Comments

[kmkr]

回答ありがとうございます！for文の使い方参考になります。
ですが、私が作りたかったのが不正解のみ(今回はorientation)を得ることができるものです。
何かしらの方法で例えば Q = line.find_element_by_class_name('result-check-line__main__top')に何かしらの条件を加えて不正解のみを取得したりするものです。

[kmkr]

今PythonとHTMLのコードに追加しました

[kmkr]

ほんとにありがとうございます！解決しました！！