回答率: 85.30%

質問するログイン新規登録

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

新規登録して質問してみよう

ただいま回答率: 85.30%

トップ Python 3.xに関する質問

Q&A

解決済

1回答

891閲覧

スクレイピングでjavascript構成になっているサイト

総合スコア38

0グッド

0クリップ

投稿2022/02/01 13:22

0

0

やりたいこと
勉強のためサイトをスクレイピングするために
BeautifulSoupを使用してとあるサイトを読み込みたいです。

わからないこと
BeautifulSoupを使用してとあるサイトを読み込むと下記のような読み込みをします。

<script></<script>ないにあるjavascripで外部ファイル？を読み込んでいると思われるのですがここからhtmlの要素等を取り出すにはどうすればいいでしょうか？ ```html <html> <head> <meta content="text/html; charset=utf-8" http-equiv="Content-Type"/> <title>index</title> <script> window.onload = function(){ var form = document.createElement("form"); document.body.appendChild(form); form.setAttribute('action','public/top.action'); form.setAttribute('method','post'); form.submit(); }; </script> </head> <body> </body> </html> ```

python
1import PySimpleGUI as sg
2import re
3import time
4import requests
5from pathlib import Path
6from bs4 import BeautifulSoup
7
8output_folder = Path('car')
9output_folder.mkdir(exist_ok=True)
10
11url = 'URL'
12
13item_exp = []
14html = requests.get(url).text
15soup = BeautifulSoup(html, 'lxml')
16
17print(soup)

行動規範の内容に同意します

回答1件

1

ベストアンサー

そういう場合は、requestsとBeautifulSoupではできません。
Selenium with Python を使う人が多いようです。

投稿2022/02/01 13:29

総合スコア24672

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.30%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

関連した質問

トップ Python 3.xに関する質問

スクレイピングでjavascript構成になっているサイト