前提・実現したいこと
自社サイトhtmlから「pd.read_htmlで表をスクレイピングするプログラム」を作っています。
seleniumを使用していますが、要件③"pd.read_htmlで表を取得する"が実現できず困っています。
【要件】
①basic認証が必要な自社サイトにログイン(実現完了)
②目的のウェブページにたどり着くため、データの絞り込みのため、キーワード入力と検索ボタンを自動で押す動作(実現完了)
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
③「この時点で表示されているwebページに対して」"pd.read_html"を使い、表を取得したい。がうまくいかない
発生している問題・エラーメッセージ
pd.read_html(url)を使いたいが、「②の直後のHTMLがURLとして指定できない」ので他の方法を調べてもよくわからない。
そもそも認証ではじかれてしまう。
raise HTTPError(req.full_url, code, msg, hdrs, fp) urllib.error.HTTPError: HTTP Error 401: Authorization Required
試したこと
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
■■**③ここでpd.read_html(url)を使いたいが、「②の直後のHTMLがURLとして指定できない」ので上手くいかない*■■
data frameでスクレイピングしたいので、無理やり"pd.read_html(url)"を使おうとしていますが、ほかの方法があるのでしょうか。
ご教授いただければ幸いです。

回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。