wgetでサイトを丸ごとダウンロードする際のログイン認証の方法

あるサイトをwgetコマンドにて丸ごとダウンロードしようとしています。
https://linuxcommand.net/wget/#i-2
のサイトに、認証の際のクッキーを保存してからダウンロードすると認証した状態での保存が可能とありました。

調べてみると認証の際には
https://○○.com/api/loginという場所に
session:
email: "〇〇"
is_remember: false
password: "password"
としてPOSTしているようでしたので、下記のコードを書きましたが、ERROR 422: Unprocessable Entity.が返ってきてしまいます。
書き方が違うのでしょうか。

wget --keep-session-cookies --save-cookies=cookies.txt --post-data='email=〇〇&password=password&is_remember=false' https://〇〇.com/api/login

よろしくお願いします。

ockeghem

2022/09/11 06:41

Content-Typeが間違っている、あるいはUser-Agentをチェックしているなどいくつか原因は思いつきますが、サイト名がわからないと当方で確かめようがないです。

kenben

2022/09/11 10:09

ありがとうございます。対象は下記サイトです。 https://hashhub-research.com/ ログインしている無料会員が読める記事があり、それで試しているのですがなかなかうまくいかない状況です。

行動規範の内容に同意します

回答1件

ベストアンサー

コメントいただいたサイトのログイン処理を見てみましたが、結構難易度が高そうです。

エラーになっている原因は以下と思われます。半分あたりましたね。

CSRF対策のトークンチェックに引っかかっている
オリジナルのPOSTデータはJSON形式すなわちContent-Type: application/jsonだが、提示されたwgetコマンドはapplication/x-www-form-urlencoded となっている

CSRFトークンの付与は結構面倒です。Cookie CSRF-TOKENをパーセントデコードして、ヘッダX-Csrf-Tokenして付与してやる必要があります。参考にされた記事のように、いったん手動でログインして返ってきたCookieをセットした方が難易度は下がると思いますが、完全な自動化にはなりません。

投稿2022/09/12 12:48

ockeghem

総合スコア11701

kenben

2022/09/13 14:42

ありがとうございます。試しにFirefoxで手動でログインし、Cookies.txtというアドオンで取得したCookie.txtをセットしてみましたが、やはりログイン前の画面が取得されてしまいます。使用したコマンド（user agentを変えたり、リファーを設定したりはしてみましたが、同様にだめでした。） wget -m -p -E -k -np --load-cookies=cookies.txt https://hashhub-research.com/articles/2022-08-16-nouns-dao-overview/ 半ば諦め気味ではありますが、もしお気づきの点などありましたらコメント頂ければ幸いです。