jsoupのservlet内での挙動とMainでの挙動の違い

Question

   public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("http://www.sdmemo.com/wiki/Review_Board%E3%81%AE%E5%B0%8E%E5%85%A5%E6%89%8B%E9%A0%86").get();
            String a = document.getElementsByTag("title").toString();
        } catch (IOException e) {
            e.printStackTrace();

        }

このときはには

a = "Review Boardの導入手順 - Software Development Memo"

と想定通りの結果になるのですが、
これをtomcat起動してservlet内で読み込むと、

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, 

が返ります
どういった違いで変化が出るのでしょうか。尚エンコードのされてない普通のサイトだと、servlet内でも
想定の挙動してくれます

Answer 1

jsoup 1.7.2, Tomcat7, JDK7で試しましたが、どちらも正常にタイトルが取得されました。
文字エンコーディングはすべてUTF-8にしています。

ただし、結果はタグが付いた状態で取得されました。

a = <title>Review Boardの導入手順 - Software Development Memo</title>

jsoupのバージョンが違うのかもしれません。

Comments

[anonymous001]

jsoup 1.7.2, Tomcat7, JDK7 のバージョンでやってみましたが404エラーが帰ってきました。実行をもうすこし詳しく書くとurlパラメータに対象URLを入れてGETメソッドに乗せます
String url = request.getParameter("url");　で取得して
Document document = Jsoup.connect(url).get()という感じです。

どのような感じで検証されたのか教えていただけませんか？m(__)m

[argius]

検証は、サンプルのmainメソッドを、そのままdoGetから呼び出して確認しました。

URLをGETパラメーターで渡しているということですが、GETでURLエンコードした文字列を渡してrequest.getParameter("url")で取得すると、その文字列はURLデコードされています。デバッグかSystem.out.printlnで確認してみてください。
GETパラメーターに渡すURLは、下記のように、再度URLエンコードしたものを設定する必要があります。
url=http%3A%2F%2Fwww.sdmemo.com%2Fwiki%2FReview_Board%25E3%2581%25AE%25E5%25B0%258E%25E5%2585%25A5%25E6%2589%258B%25E9%25A0%2586