実現したいこと
DrissionPageを使ってCloudflareを設定しているサイトをスクレイピングしたい
(DrissionPage以外でもCloudflareを設定しているサイトをスクレイピングできればいいのですが、方法がわからず、、、)
発生している問題・分からないこと
下記ソースコードを実行すると、エラーになる
エラーメッセージ
error
1Traceback (most recent call last): 2 File "test_cloudflare.py", line 3, in <module> 3 page = ChromiumPage() 4 File "/Users/zzz/.pyenv/versions/3.8.0/lib/python3.8/site-packages/DrissionPage/_pages/chromium_page.py", line 38, in __new__ 5 is_exist, browser_id = run_browser(opt) 6 File "/Users/zzz/.pyenv/versions/3.8.0/lib/python3.8/site-packages/DrissionPage/_pages/chromium_page.py", line 337, in run_browser 7 is_exist = connect_browser(chromium_options) 8 File "/Users/zzz/.pyenv/versions/3.8.0/lib/python3.8/site-packages/DrissionPage/_functions/browser.py", line 33, in connect_browser 9 test_connect(ip, port) 10 File "/Users/zzz/.pyenv/versions/3.8.0/lib/python3.8/site-packages/DrissionPage/_functions/browser.py", line 213, in test_connect 11 raise BrowserConnectError(f'\n{ip}:{port}浏览器无法链接。\n请确认:\n1、该端口为浏览器\n' 12DrissionPage.errors.BrowserConnectError: 13zzz.z.z.z:zzzz浏览器无法链接。 14请确认: 151、该端口为浏览器 162、已添加'--remote-debugging-port=zzzz’启动项 173、用户文件夹没有和已打开的浏览器冲突 184、如为无界面系统,请添加'--headless=new'参数 195、如果是Linux系统,可能还要添加'--no-sandbox'启动参数 20可使用ChromiumOptions设置端口和用户文件夹路径。
該当のソースコード
Python
1from DrissionPage import ChromiumPage 2 3page = ChromiumPage() 4page.get("https://uniteapi.dev/meta") 5html_content = page.html 6page.quit() 7
試したこと・調べたこと
- teratailやGoogle等で検索した
- ソースコードを自分なりに変更した
- 知人に聞いた
- その他
上記の詳細・結果
エラーが出て終了してしまう。
補足
特になし
あなたの回答
tips
プレビュー