前提・実現したいこと
basic認証とCookie認証を使用しているサイトからWebページをダウンロードしようとしています。
データを取得するためのcurlコマンドをご教授いただけませんでしょうか。
(実機でテストをしたいのですが頻繁に触れない状況のため、確認不足等あるかもしれません)
知りたい事
1.データ取得しようとしているWebサイトのログインページにはLoginボタンがあり、
ボタンをクリック後にbasic認証のダイアログが表示されます。
curlを使用する場合、basic認証する前に、ログインボタンをクリックした時postされる情報を
postする必要はあるのでしょうか?
2.データダウンロード手順は下記の通りで良いでしょうか
ログインページでLoginボタンを押したときと同じようにデータをPOSTする。
Basic認証でログインページにアクセスし、cookieを取得する
取得したいページをcookieを指定してダウンロードする。
3.下記のWebページの内容に対し送信するCurlのコードは正しいでしょうか?
HTMLのパラメータ等はクッキーがあれば不要でしょうか?
ブラウザでアクセスしたときは、ログインしていればパラメータなしのURLでアクセス出来ているように見えます。
該当のソースコード
■ログインページ抜粋
<form method="post" action="#menu"> <input type="hidden" name=APPLY" value="99"> <h2>Login required to continue</h2> <input type="submit" name="P99" value="Login"> </form> curl -F "nameP99" -F "value=Longin" http;//XXXXXXX/login curl -c cookie.txt -u user:password http;//XXXXXXX/login
■取得したいページへのリンクメニュー抜粋
<form method="post" action="#menu"> <a name="menu"></a><input type="hidden" name="hms" value"33 /> ←親メニュー <a class="sub" href="42?ms=33&lang=0&sid=xxxxxx">system status</a> ←子メニュー(取得したいページ) </form> curl -b cookie.txt -O "http://XXXXXXX/42" -o html.txt
試したこと
取得したいページに対しPowerShellでWebclientを使用してダウンロードを試みたのですが
取得できたのはログインページのHTMLでした。httpのエラーは発生しませんでした。
スクレイピング初心者のため、まずはCurlで手順を確認したいと考えています。
補足情報(FW/ツールのバージョンなど)
ここにより詳細な情報を記載してください。
あなたの回答
tips
プレビュー