Q&A
クローリング部分のコードや設定は開示可能でしょうか？
クローリングに関して質問です。
サーバ構成
hostBにはWEBサイトがあります
hostC経由でしかアクセスできません
やりたいこと
hostB内にあるサイトのクローリング
hostA上でやったこと
ログインページ取得⇒成功
ログイン処理⇒失敗（下記サイトへリダイレクト）
HTML
1<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body></body></html>
現状
hostC内ではログイン処理などすべて成功します
予想
どうも、SSH関連の話かなと思っているのですが、解決の糸口が見えません
このw3.orgという組織は、ウェブドライバの組織見たいですね(´;ω;｀)
HTMLの組織だった(´;ω;｀)
たとえば、https://qiita.com/kuboon/items/85169dcec746db552935 を参考にして、hostCから、curlでログインをしてみて、どのような挙動になり、結果がどのようになるかを調査されると原因分析に役立つかと。
回答2件
0
自己解決
sshトンネルは443で掘ってて、https通信も443で、しかもWEBがすごい複雑な造りをされてて、必ずリダイレクトされて返されているので、その辺が悪さをしてたのかなという推測（無駄に制約が厳しすぎて、これ以上調べることができない。本当に無駄な制約が厳しい。）
解決法は、諸々の理由で書けませんが、結論から言うと全く解決していません(# ﾟДﾟ)
投稿2019/02/25 09:31
総合スコア2321
0
リダイレクト先のURLの内容は以下のサイトを見るとXHTMLを使った文書を作成しているということを示しているだけなので、本質的では無いように思います。
http://www.webword.jp/xhtml/tag-basic/index1.html
なぜ入れないのか、は、この情報だけでは難しいですね。
アクセスログなどでどこかで403なり500なり返っている場所が無いですか？
投稿2019/02/22 06:51
総合スコア317
hostBのログは手に入れることができません（hostBの管理者にクローリングの許可は頂いております）
hostAはCentOS、hostCはWindows10なのですが、それぞれのログはどこにあるのでしょうか？
host Bのログがないと厳しいですねぇ…
とりあえず、SSHコマンドの-vオプションでデバッグ情報を見てみてください。
可能性として、host BからhostAに返してしまっている可能性があるかもしれません。
あなたの回答
tips
プレビュー
