Pythonでハッシュタグのテキストを取得したいのですが、うまくいきません。

Question

Python初心者です。

PythonでWebスクレイピングを行っておりまして、ハッシュタグのテキストを取得したいのですが、認識されないのか、うまくいきません。

例えばこのブログ（https://ameblo.jp/naoofjapan/）なのですが、
プロフィール欄（右の欄です）のハッシュタグに、
「#猫の多頭飼い」「#猫の病気」「#保護猫」とあり、これらの#をとったテキストを取得したいのです。

HTMLを見てみると、

（前略）
<span class="hashtag-module__item">
<a href="https://blogger.ameba.jp/hashtags/猫の多頭飼い?genre=cat">
<span class="hashtag-module__item__text">#猫の多頭飼い</span>
</a>
</span>

とあるので、

url = BeautifulSoup(requests.get(対象のURL, "lxml")
for value1 in url.find_all("span", class_="hashtag-module__item"):
for value2 in value1.find_all("a"):
for value3 in value2.find_all("hashtag-module__item__text"):
print(value3.get_text())

上記のようにPythonのコードを書いてみましたが、結果は何も表示されません。
試しに、find_all関数の引数を"span"のみにし、class名を指定せずにしたところ、大量のspanタグの要素が出力されますが、「#猫の多頭飼い」「#猫の病気」「#保護猫」に関する情報は出てきません。

ハッシュタグの中身を取得するには、別の方法を実施する必要があるのでしょうか。
どなたか詳しい方、ご教示をお願いいたします。

Answer 1

上記のようにPythonのコードを書いてみましたが、結果は何も表示されません。

以下のように取得したものを html として保存して、ブラウザで開いて確認するとわかると思いますが、そのハッシュタグは Javascript で動的に生成されているため、requests で html を取得しても、そこには含まれていません。

import requests

res = requests.get("https://ameblo.jp/naoofjapan/")
with open("save.html", "wb") as f:
    f.write(res.content)

ハッシュタグの中身を取得するには、別の方法を実施する必要があるのでしょうか。

Javascript を実行する必要があるため、requests モジュールで html を取得する方法では無理です。
Python でやるなら、selenium で実際にブラウザで開いてレンダリングする必要があると思います。

Comments

[umai29]

早々なご回答ありがとうございます。
そうなのですね。いくらやってもダメで困っていたのですが、Javascriptを実行する必要があるとのことがわかってよかったです。

ありがとうございますm(_ _)m

[tiitoi]

この記事などを参考にされるとよいかと思います。
https://qiita.com/Azunyan1111/items/b161b998790b1db2ff7a

[umai29]

ありがとうございますm(_ _)m