javaを使ったWeb上のJsonを取得する方法

Question

Javaを使ってwebページから情報抽出の勉強をしています。webページから情報を取ってきたいのですが、必要な情報がjson形式のため取得できません。htmlのようにパターン抽出などをすることができるのでしょうか。現在抜き出したいjsonをソースから抽出し、jsonicを使ってデコードしているのですがうまく変換できません。

<script type="application/ld+json">

[
	
		{
  		"@context" : "http://schema.org",
  		"@type" : "Event",
  		"name" : "LINE Presents 表参道イルミネーション2015",
  		"startDate" : "2015-12-01",
  		"endDate" : "2015-12-25",
  		"location" : {
    		"@type" : "Place",
    		"address" : {
      			"@type" : "PostalAddress",
      			"addressLocality" : "神宮前",
     			"addressRegion" : "東京"
    		}
  		},
		

package json;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import net.arnx.jsonic.JSON;

public class json {

	public static void main(String args[]) throws IOException {
		String title = "";
		URL url = new URL("http://www.jalan.net/event/130000/");
		HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
		InputStream in = httpConn.getInputStream();
		BufferedReader reader = new BufferedReader(new InputStreamReader(in,
				"SHIFT-JIS"));// JISAutoDetect
		StringBuffer lines = new StringBuffer(4096);
		while (true) {
			String line = reader.readLine();
			if (line == null) {
				break;
			}
			lines.append(line);
			lines.append('\n');
		}
		Pattern pattern = Pattern
				.compile("<script type=.*?json.>(.*?)</script>",
						Pattern.CASE_INSENSITIVE | Pattern.DOTALL);
		Matcher matcher = pattern.matcher(lines.toString());
		while (matcher.find()) {
			title = matcher.group(1);
			System.out.println(title);
		}
		Event event = JSON.decode(title, Event.class);
		System.out.println("name;" + event.getName());
		System.out.println("startDate;" + event.getStartDate());
		System.out.println("endDate:" + event.getEndDate());
		System.out.println("addressLocality:" + event.getAddressLocality());
	}
}

package json;

public class Event {

	String name;
	String startDate;
	String endDate;
	String addressLocality;

	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public String getStartDate() {
		return startDate;
	}
	public void setStartDate(String startDate) {
		this.startDate = startDate;
	}
	public String getEndDate() {
		return endDate;
	}
	public void setEndDate(String endDate) {
		this.endDate = endDate;
	}
	public String getAddressLocality() {
		return addressLocality;
	}
	public void setAddressLocality(String addressLocality) {
		this.addressLocality = addressLocality;
	}

}

エラーメッセージ
Exception in thread "main" net.arnx.jsonic.JSONException: [{@context=http://schema.org, @type=Event, name=LINE Presents 表参道イルミネーション2015, startDate=2015-12-01, endDate=2015-12-25, location={@type=Place, address={@type=PostalAddress, addressLocality=神宮前, addressRegion=東京}}, image=http://www.jalan.net/jalan/img/6/event/0176/KXL/e17658...... は class json.Event に変換できませんでした: $
at net.arnx.jsonic.JSON$Context.convertInternal(JSON.java:1775)
at net.arnx.jsonic.JSON.parse(JSON.java:1155)
at net.arnx.jsonic.JSON.parse(JSON.java:1130)
at net.arnx.jsonic.JSON.decode(JSON.java:665)
at json.json.main(json.java:39)
Caused by: java.lang.UnsupportedOperationException: Cannot convert class java.util.ArrayList to class json.Event
at net.arnx.jsonic.ObjectConverter.convert(Converter.java:1655)
at net.arnx.jsonic.JSON.postparse(JSON.java:1310)
at net.arnx.jsonic.JSON$Context.convertInternal(JSON.java:1762)
... 4 more

Answer 1

for (int i = 0; i < event.length; i++) {

    ...

    System.out.println("addressLocality:" + event[i].getLocation().getAddress().getAddressLocality());

    ...

}

ですね。

Comments

[ryo-flat]

最後までお付き合いいただきありがとうございます。
jsonのパースの仕方を知ることができました。

[hyper-drums-ko]

お役に立てたようでよかったです。
頑張ってください！

Answer 2

POJO を JSON と同じレイアウトにする必要があります。

"location" : {
    "@type" : "Place",
    "address" : {
        "@type" : "PostalAddress",
        "addressLocality" : "神宮前",
        "addressRegion" : "東京"
    }
}

ですので

Event.java

package json;

public class Event {

    private String name;
    private String startDate;
    private String endDate;
    private Location location;

	public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public String getStartDate() {
        return startDate;
    }
    public void setStartDate(String startDate) {
        this.startDate = startDate;
    }
    public String getEndDate() {
        return endDate;
    }
    public void setEndDate(String endDate) {
        this.endDate = endDate;
    }
    public Location getLocation() {
        return location;
    }
    public void setLocation(Location location) {
        this.location = location;
    }

}

Location.java

package json;

public class Location {

    private Address address;

    public Address getAddress() {
        return address;
    }
    public void setAddress(Address address) {
        this.address = address;
    }

}

Address.java

package json;

public class Address {

    private String addressLocality;
    private String addressRegion;

    public String getAddressLocality() {
        return addressLocality;
    }
    public void setAddressLocality(String addressLocality) {
        this.addressLocality = addressLocality;
    }
    public String getAddressRegion() {
        return addressRegion;
    }
    public void setAddressRegion(String addressRegion) {
        this.addressRegion = addressRegion;
    }

}

ですかね。

Comments

[ryo-flat]

同じ構造にしなければいけないんですね。
この場合addressLocalityをgetするにはどれを使えばいいんでしょうか。
System.out.println("addressLocality:" + この部分);

Answer 3

JSONは配列で返却されているようですので

Event[] event = JSON.decode(title, Event[].class);

でいかがでしょうか？

Comments

[ryo-flat]

nameとstartDatetとendDateは抜き出せました。
なぜかaddressLocalityが抜き出せません。

Answer 4

htmlのパターン抽出の要領でソースを取得し

そうですね。

String jsonString = null;
Matcher m = Pattern.compile("<script type=\"application/ld\\+json\">(.+?)</script>").matcher(*取得したページのHTML*);
if (m.find()) {
    jsonString = m.group(1);
}

こんな感じで抜きだせるかと。

Comments

[ryo-flat]

ソースは抜き出せたのですが、上記のエラーが出ました。

Answer 5

JSONIC や Jackson といったライブラリを使用し、一旦パースしてから使用するのはいかがでしょうか。

JSONIC - simple json encoder/decoder for java

Comments

[ryo-flat]

解答ありがとうございます。
htmlのパターン抽出の要領でソースを取得し、パースするということでしょうか。