質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.82%

javaを使ったWeb上のJsonを取得する方法

解決済

回答 5

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 7,656

ryo-flat

score 21

Javaを使ってwebページから情報抽出の勉強をしています。webページから情報を取ってきたいのですが、必要な情報がjson形式のため取得できません。htmlのようにパターン抽出などをすることができるのでしょうか。現在抜き出したいjsonをソースから抽出し、jsonicを使ってデコードしているのですがうまく変換できません。

<script type="application/ld+json">

[

        {
          "@context" : "http://schema.org",
          "@type" : "Event",
          "name" : "LINE Presents 表参道イルミネーション2015",
          "startDate" : "2015-12-01",
          "endDate" : "2015-12-25",
          "location" : {
            "@type" : "Place",
            "address" : {
                  "@type" : "PostalAddress",
                  "addressLocality" : "神宮前",
                 "addressRegion" : "東京"
            }
          },
package json;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import net.arnx.jsonic.JSON;

public class json {

    public static void main(String args[]) throws IOException {
        String title = "";
        URL url = new URL("http://www.jalan.net/event/130000/");
        HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
        InputStream in = httpConn.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(in,
                "SHIFT-JIS"));// JISAutoDetect
        StringBuffer lines = new StringBuffer(4096);
        while (true) {
            String line = reader.readLine();
            if (line == null) {
                break;
            }
            lines.append(line);
            lines.append('\n');
        }
        Pattern pattern = Pattern
                .compile("<script type=.*?json.>(.*?)</script>",
                        Pattern.CASE_INSENSITIVE | Pattern.DOTALL);
        Matcher matcher = pattern.matcher(lines.toString());
        while (matcher.find()) {
            title = matcher.group(1);
            System.out.println(title);
        }
        Event event = JSON.decode(title, Event.class);
        System.out.println("name;" + event.getName());
        System.out.println("startDate;" + event.getStartDate());
        System.out.println("endDate:" + event.getEndDate());
        System.out.println("addressLocality:" + event.getAddressLocality());
    }
}
package json;

public class Event {

    String name;
    String startDate;
    String endDate;
    String addressLocality;

    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public String getStartDate() {
        return startDate;
    }
    public void setStartDate(String startDate) {
        this.startDate = startDate;
    }
    public String getEndDate() {
        return endDate;
    }
    public void setEndDate(String endDate) {
        this.endDate = endDate;
    }
    public String getAddressLocality() {
        return addressLocality;
    }
    public void setAddressLocality(String addressLocality) {
        this.addressLocality = addressLocality;
    }

}


エラーメッセージ
Exception in thread "main" net.arnx.jsonic.JSONException: [{@context=http://schema.org, @type=Event, name=LINE Presents 表参道イルミネーション2015, startDate=2015-12-01, endDate=2015-12-25, location={@type=Place, address={@type=PostalAddress, addressLocality=神宮前, addressRegion=東京}}, image=http://www.jalan.net/jalan/img/6/event/0176/KXL/e17658...... は class json.Event に変換できませんでした: $
    at net.arnx.jsonic.JSON$Context.convertInternal(JSON.java:1775)
    at net.arnx.jsonic.JSON.parse(JSON.java:1155)
    at net.arnx.jsonic.JSON.parse(JSON.java:1130)
    at net.arnx.jsonic.JSON.decode(JSON.java:665)
    at json.json.main(json.java:39)
Caused by: java.lang.UnsupportedOperationException: Cannot convert class java.util.ArrayList to class json.Event
    at net.arnx.jsonic.ObjectConverter.convert(Converter.java:1655)
    at net.arnx.jsonic.JSON.postparse(JSON.java:1310)
    at net.arnx.jsonic.JSON$Context.convertInternal(JSON.java:1762)
    ... 4 more

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 5

checkベストアンサー

0

for (int i = 0; i < event.length; i++) {

    ...

    System.out.println("addressLocality:" + event[i].getLocation().getAddress().getAddressLocality());

    ...

}


ですね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/12/24 10:45

    最後までお付き合いいただきありがとうございます。
    jsonのパースの仕方を知ることができました。

    キャンセル

  • 2015/12/24 10:47

    お役に立てたようでよかったです。
    頑張ってください!

    キャンセル

0

JSONIC や Jackson といったライブラリを使用し、一旦パースしてから使用するのはいかがでしょうか。

JSONIC - simple json encoder/decoder for java

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/12/21 14:18

    解答ありがとうございます。
    htmlのパターン抽出の要領でソースを取得し、パースするということでしょうか。

    キャンセル

0

htmlのパターン抽出の要領でソースを取得し

そうですね。

String jsonString = null;
Matcher m = Pattern.compile("<script type=\"application/ld\\+json\">(.+?)</script>").matcher(*取得したページのHTML*);
if (m.find()) {
    jsonString = m.group(1);
}


こんな感じで抜きだせるかと。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/12/22 10:33

    ソースは抜き出せたのですが、上記のエラーが出ました。

    キャンセル

0

JSONは配列で返却されているようですので

Event[] event = JSON.decode(title, Event[].class);


でいかがでしょうか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/12/22 11:26

    nameとstartDatetとendDateは抜き出せました。
    なぜかaddressLocalityが抜き出せません。

    キャンセル

0

POJO を JSON と同じレイアウトにする必要があります。

"location" : {
    "@type" : "Place",
    "address" : {
        "@type" : "PostalAddress",
        "addressLocality" : "神宮前",
        "addressRegion" : "東京"
    }
}


ですので

Event.java

package json;

public class Event {

    private String name;
    private String startDate;
    private String endDate;
    private Location location;

    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public String getStartDate() {
        return startDate;
    }
    public void setStartDate(String startDate) {
        this.startDate = startDate;
    }
    public String getEndDate() {
        return endDate;
    }
    public void setEndDate(String endDate) {
        this.endDate = endDate;
    }
    public Location getLocation() {
        return location;
    }
    public void setLocation(Location location) {
        this.location = location;
    }

}


Location.java

package json;

public class Location {

    private Address address;

    public Address getAddress() {
        return address;
    }
    public void setAddress(Address address) {
        this.address = address;
    }

}


Address.java

package json;

public class Address {

    private String addressLocality;
    private String addressRegion;

    public String getAddressLocality() {
        return addressLocality;
    }
    public void setAddressLocality(String addressLocality) {
        this.addressLocality = addressLocality;
    }
    public String getAddressRegion() {
        return addressRegion;
    }
    public void setAddressRegion(String addressRegion) {
        this.addressRegion = addressRegion;
    }

}


ですかね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/12/23 11:01

    同じ構造にしなければいけないんですね。
    この場合addressLocalityをgetするにはどれを使えばいいんでしょうか。
    System.out.println("addressLocality:" + この部分);

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.82%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る