Q&A
スクレイピングをしたいhtmlの内容を質問に追記いただけると、回答を得られやすいと思います。
#課題・問題
pythonでスクレイピングをしようとしています。
bs４を用いてURL取得⇨HTML取得⇨HTML解析⇨HTMLテキスト取得をしようとしていますが、
from bs4 import BeautifulSoup import urllib.request as req get_url = browser.current_url url = get_url response = req.urlopen(url) parse_html = BeautifulSoup(response,'html.parser') print(parse_html)
##HTML出力結果
<html> <head> 省略 </head> <body> <noscript>You need to enable JavaScript to run this app.</noscript> **<div id="root"></div>** <script>!function (l) { function e(e) { for (var r, t, n = e[0], o = e[1], u = e[2], f = 0, i = []; f < n.length; f++) t = n[f], p[t] && i.push(p[t][0]), p[t] = 0; for (r in o) Object.prototype.hasOwnProperty.call(o, r) && (l[r] = o[r]); for (s && s(e); i.length;) i.shift()(); return c.push.apply(c, u || []), a() } function a() { for (var e, r = 0; r < c.length; r++) { for (var t = c[r], n = !0, o = 1; o < t.length; o++) { var u = t[o]; 0 !== p[u] && (n = !1) } n && (c.splice(r--, 1), e = f(f.s = t[0])) } return e } </body>
このように**<div id="root"></div>**部分の中身が解析されず、取得できません。
解決策お教えていただきたいです。
補足
chromeのJavaScriptは有効にしてあります
回答1件
0
ベストアンサー
取得できません。
空という中身が取得されているので、これはこれで正しい動作です。
JavaScriptで中身を追加しているのでしょう。
response = req.urlopen(url)
で取得するのはJavaScript動作前の生のHTMLです。
JavaScriptを使用したページの取得には、ブラウザ+Selenium等を使います。
投稿2021/01/19 11:38
総合スコア84788
response = browser.page_souce
を実行でJava動作後のHTMLを取得できました。
ヒントありがとうございます。
ああ、よく見ると、seleniumを使っていながら、urlopenとbs4を併用していたのですね。
seleniumだけで完結しましょう。bs4も不要です。
seleniumとBeautifulSoupは併用するとダメなんですか？
駄目では無いですが、必要が無い。意味が無い。
なるほどですね
わかりました！消しておきます！
あなたの回答
tips
プレビュー
