beautifulsoupで特定の文字列を

Question

from bs4 import BeautifulSoup
import json
import requests

target_url = "https://www.youtube.com/watch?v=dWuTh_BSmY4"#youtube_url
dict_str = ""
session = requests.Session()
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

html = requests.get(target_url)
soup = BeautifulSoup(html.text, "html.parser")

next_url = "https://www.youtube.com/live_chat_replay?continuation=op2w0wRaGlBDamdhRFFvTGJUaEhUbWRNV2toelREZ3FKd29ZVlVNeFJFTmxaRkpuUjBoQ1pHMDRNVVV4Ykd4TWFFOVJFZ3R0T0VkT1oweGFTSE5NT0NBQkABcgIIBHgB"

html = session.get(next_url, headers=headers)
soup = BeautifulSoup(html.text,"lxml")
for scrp in soup.find_all("script"):
    if "window[\"ytInitialData\"]" in scrp.text:
        print("existed:window[\"ytInitialData\"]")

なし

beautifulsoupを扱えるよう学習している初学者です
最終的な達成目標としてはyoutube liveアーカイブのコメントの取得としています

soupの中身にwindow["ytInitialData"]の文字列が存在することはsoupの中身をテイストファイルに出力し確認しており、最後段のprint分でプログラム上でも認識できていることを確認したいのですが、出力されません。
なぜif文でこの特定の文字列を見つけられないのか、原因がわからず困っています。
ご教授いただけると幸いです。

なおここでソース上に掲載しているURLはニュースチャンネルのアーカイブであり、teratail上での掲載に差し支えないと判断し掲載しておりますが、念のため解決後にURL部分のみを訂正する予定です。

Comments

[退会済みユーザー]

html.textの中身を教えてください

Answer 1

なんか、scriptタグのみ特別扱いっぽいですね。別のタグ名に置き換えて、

soup = BeautifulSoup(html.text.replace("script","scriptxx"),"lxml")
for scrp in soup.find_all("scriptxx"):
    if "window[\"ytInitialData\"]" in scrp.text:
        print("existed:window[\"ytInitialData\"]")

だと取れます。

scriptのままでも、.textじゃなくて.stringだと取れるようです。

soup = BeautifulSoup(html.text,"lxml")
for scrp in soup.find_all("script"):
    if scrp.string and "window[\"ytInitialData\"]" in scrp.string:
        print("existed:window[\"ytInitialData\"]")

Comments

[otn]

念のための補足ですが、前者の方法を取るときは、タグ名以外にscriptという文字列がある場合にそれを置き換えてしまわないような考慮が必要です。面倒くさいのでそこまでしてません。

[arara]

動作を確認できました。
公式ドキュメントを参照したところ、scriptを含むいくつかのタグがおっしゃる通り特殊な扱いを受けているようです
beautifulsoupのver4.9からのようですので、それ以前のバージョンだとそのままでも動くかもしれません（未検証ですが・・・）

タグの種類ごとに扱いが異なるという点は思いつきもしませんでした。
大変参考になりました。ありがとうございました。

[arara]

補足ありがとうございます
そうですね　その点は念頭に置いておいた上で扱おうと思います。

[otn]

> beautifulsoupのver4.9からのようですので、
なるほど。いつも、http://kondou.com/BS4/ （4.2.0の日本語訳）を見てるの すが、道理で載ってないのか。

scriptを含んだ上位のタグのtextを取った場合のことを考えると除外するのが便利なのかも知れません。