Q&A
Content-Typeが間違っている、あるいはUser-Agentをチェックしているなどいくつか原因は思いつきますが、サイト名がわからないと当方で確かめようがないです。
あるサイトをwgetコマンドにて丸ごとダウンロードしようとしています。
https://linuxcommand.net/wget/#i-2
のサイトに、認証の際のクッキーを保存してからダウンロードすると認証した状態での保存が可能とありました。
調べてみると認証の際には
https://○○.com/api/loginという場所に
session:
email: "〇〇"
is_remember: false
password: "password"
としてPOSTしているようでしたので、下記のコードを書きましたが、ERROR 422: Unprocessable Entity.が返ってきてしまいます。
書き方が違うのでしょうか。
wget --keep-session-cookies --save-cookies=cookies.txt --post-data='email=〇〇&password=password&is_remember=false' https://〇〇.com/api/login
よろしくお願いします。
ありがとうございます。
対象は下記サイトです。
https://hashhub-research.com/
ログインしている無料会員が読める記事があり、それで試しているのですがなかなかうまくいかない状況です。
回答1件
0
ベストアンサー
コメントいただいたサイトのログイン処理を見てみましたが、結構難易度が高そうです。
エラーになっている原因は以下と思われます。半分あたりましたね。
- CSRF対策のトークンチェックに引っかかっている
- オリジナルのPOSTデータはJSON形式すなわちContent-Type: application/jsonだが、提示されたwgetコマンドはapplication/x-www-form-urlencoded となっている
CSRFトークンの付与は結構面倒です。Cookie CSRF-TOKENをパーセントデコードして、ヘッダX-Csrf-Tokenして付与してやる必要があります。参考にされた記事のように、いったん手動でログインして返ってきたCookieをセットした方が難易度は下がると思いますが、完全な自動化にはなりません。
投稿2022/09/12 12:48
総合スコア11705
ありがとうございます。
試しにFirefoxで手動でログインし、Cookies.txtというアドオンで取得したCookie.txtをセットしてみましたが、やはりログイン前の画面が取得されてしまいます。
使用したコマンド（user agentを変えたり、リファーを設定したりはしてみましたが、同様にだめでした。）
wget -m -p -E -k -np --load-cookies=cookies.txt https://hashhub-research.com/articles/2022-08-16-nouns-dao-overview/
半ば諦め気味ではありますが、もしお気づきの点などありましたらコメント頂ければ幸いです。
お気づきの点はあるのですが、お伝えする手段が難しいですねぇ。このサイトはJavaScriptをフルに活用して作成されているので、wgetでダウンロードするのは難しいと思います。記事本文はJSONという形でダウンロードされるようです。
そうなのですね・・・
当方の力では難しそうですので諦めることにします。ありがとうございました。
あなたの回答
tips
プレビュー
