英語サイトでBeautifulSoupによるテキスト取得ができない

Question

前提・実現したいこと

BeautifulSoupでWall Street JournalのwebsiteからHeadlineを抜き出したいと思っています。
findやcssセレクタを利用してHeadlineの該当するタグを特定しようとしましたが、うまくいかず。

発生している問題・エラーメッセージ

そもそも、タグの特定以前に、BeautifulSoupで取り出したすべてのhtmlデータの中に該当のテキストが入っていないことがわかりました。

該当のソースコード

from bs4 import BeautifulSoup
import requests

wsj = 'https://www.wsj.com/'
html = requests.get(wsj)
soup = BeautifulSoup(html.content, 'html.parser')
topics =soup.find('div',class_ = '*****')
#*****にHeadlineを含むclassのタグ名を入れました
print(topics)
#結果はどのタグ名でもHeadlineのテキストを抜き出すことができませんでした。
#CSSセレクタを利用してみましたがやはりうまくいきませんでした。

print(soup)
#試しにBeautifulSoupで取り出したすべてのhtmlデータをprintしてみたところ、そもそもHeadlineのテキストがどこにも含まれていないことがわかりました。

試したこと

Seleniumを利用してみましたが、やはりHeadlineのテキストが見当たりませんでした。

補足情報（FW/ツールのバージョンなど）

Windows10 Home 2004
Python3.7
PyCharm 2020.3.5(Community Edition)

Answer 1

たとえば下記のようにしてソースを抜くことはできましたが。何が不足していたのでしょうか。また、「Headlineのテキスト」とは具体的にどこの部分を指していますか。

import chromedriver_binary
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

driver.get('https://www.wsj.com/')
with open("test.txt", mode='w', encoding="utf-8") as f:
    f.write(driver.page_source)
driver.quit()

Comments

[arron]

いただいたコードでうまくテキストが取得できました。ありがとうございました。
chromedriverの問題か、Seleniumのコードの書き方の問題か、これから検証します。
なぜBeautifulSoupでは取得できないのかも引き続き調べてみます。

[jeanbiego]

なぜarronさんがseleniumで取得できていなかったのかはわかりませんが、
request+bs4で取れていないのは、「動的」なサイトだったからです。その組み合わせで取れるのは「静的」なサイトだけですね。ググれば解説がたくさんありますので、気になる場合は「動的　サイト」とかで検索してみてください。

[arron]

アドバイスありがとうございます。
seleniumがワークしなかったのは、おそらくですが、chromedriver_binaryが正しくインストールされていなかったためではないかと思います。もう少し研究してみます。
助かりました。

[arron]

確認したところ、chromedriver_binaryが影響していたわけではありませんでした。
私の書いた元のコードとjeanbiegoさんとの違いは、textファイルに書き込むステップかと思います。
textファイルに書き込むのと書き込まないので結果が違う理由がよくわかりませんでした。
参考まで、私の元のコードを入れておきますね。

import chromedriver_binary
from selenium import webdriver
import time

wsj = 'https://www.wsj.com/'

driver = webdriver.Chrome()
driver.get(wsj)
time.sleep(1)
page_source = driver.page_source.encode('utf-8')
print(page_source)

もし、理由がお分かりでしたらご指摘いただけますと助かります。
たびたびすみません。

[jeanbiego]

URL末尾に謎の#039とかいう文字列がついているせいではなく？
こちらの環境ではソースが表示されました。

[arron]

すみません。URLはコピペしたのですが、謎文字がくっついてしまいました。コメント欄で修正しようとしたのですが何故か出来ず、そのままにしてしまいました。
しかし、そちらでソース表示されたということは、環境の違いなのかもしれないですね。
度々ありがとうございました！