質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

条件を絞り込んだ検索結果におけるcssの指定について

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 377

mi2

score 33

やりたいこと

<h4 class="name" data-name="SSS" style="height: 13px;">SSS</h4>
からSSSを抜き出したい。

問題

google chromeの検証からHTMLを追ったが、cssセレクタの挙動が想定と異なる。

HTML例

検索結果を表示するサイトにおいて、デフォルトで全件の名前や付属情報が表示されているので、そこから全件の名前や付属情報を抽出したい。

# HTML
<div id="CY" class="SW">
<div class="LP-RT-AE">
<div class="LP-RT-AE_HR">
<h3 class="LP-RT-AE_HR-text" data-CY="CY_01">コンパクト</h3>
</div><div class="LP-RT-AE_body">
<ul class="LP-RT-list js-tile_container">
<li class="LP-RT-list_item js-tile carname-01_1">
<dl>
<dt>
<img src="images/pc/car_SHUTTLE.png" alt="im" class="image" data-image="">
</dt>
<dd>
<h4 class="ne" data-ne="SSS" style="height: 13px;">SSS</h4>
<h5 class="ct" data-CY="VVV" style="height: 10px;">VVV</h5>
<h6 class="ee" data-ee="OOO<" style="height: 10px;">OOO</h6>
<dl class="price-dl" style="height: 10px;">
<dt>pri</dt>
# コード
url = 'AAAAAAAAAAAAAA'
res = requests.get(url)
content = res.content
soup = BeautifulSoup(content, 'html.parser')
ss = soup.find_all('div', class_='LP-RT-AE')


この時点でssにh4を含む結果が残りません。

ssの出力結果はなにもないです。
1つ階層が上の <div class="LP-RT">で
ss_old = soup.find_all('div', class_='LP-RT')
を行うと出力は以下のようになります。

[<div class="LP-RT">
 <div class="LP-RT-CT">
 <p>
 <span>GU</span>
 <strong class="js-result-count" id="resultCount">0</strong>
 <span></span>
 </p>
 </div><!-- .LP-RT-CT -->
 <div id="category">
 <!-- RESULT -->
 </div><!-- #category -->
 </div>]

残りの処理については、

for sss in ss:
    ne = sss.h4
    ct = sss.h4
    ee = sss.h5
    print(ne, ct, ee)


のような感じをイメージしています。

よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • namda

    2019/04/04 15:18 編集

    コードは```で囲ってください。
    おそらくPythonでの話なのでタグにPythonを追加してください。

    キャンセル

回答 1

checkベストアンサー

0

質問のコードで問題ないように思えますが、どうでしょうか。

html = '''<div id="CY" class="SW">
<div class="LP-RT-AE">
<div class="LP-RT-AE_HR">
<h3 class="LP-RT-AE_HR-text" data-CY="CY_01">コンパクト</h3>
</div><div class="LP-RT-AE_body">
<ul class="LP-RT-list js-tile_container">
<li class="LP-RT-list_item js-tile carname-01_1">
<dl>
<dt>
<img src="images/pc/car_SHUTTLE.png" alt="im" class="image" data-image="">
</dt>
<dd>
<h4 class="ne" data-ne="SSS" style="height: 13px;">SSS</h4>
<h5 class="ct" data-CY="VVV" style="height: 10px;">VVV</h5>
<h6 class="ee" data-ee="OOO<" style="height: 10px;">OOO</h6>
<dl class="price-dl" style="height: 10px;">
<dt>pri</dt>'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

for tag in soup.find_all('div', class_='LP-RT-AE'):
    print(tag.h4)
    print(tag.h5)
    print(tag.h6)
# <h4 class="ne" data-ne="SSS" style="height: 13px;">SSS</h4>
# <h5 class="ct" data-cy="VVV" style="height: 10px;">VVV</h5>
# <h6 class="ee" data-ee="OOO&lt;" style="height: 10px;">OOO</h6>

for tag in soup.find_all('div', class_='LP-RT-AE'):
    print(tag.h4.text)
    print(tag.h5.text)
    print(tag.h6.text)
# SSS
# VVV
# OOO

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/04/04 17:26

    先程コメントした通り、Javascript で動的に生成された情報は、ブラウザ以外でアクセスすると存在しないので、取得することはできないです。

    キャンセル

  • 2019/04/04 17:28 編集

    別のモジュール等で対応しなければならないということがわかりました。
    ご丁寧に対応頂きありがとうございました。

    キャンセル

  • 2019/04/04 17:37

    HTML の解析は beautiful soup で、HTML の取得は selenium を使ってはどうでしょうか。
    selenium はコード上から実際にブラウザを立ち上げて操作を行うことができます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る