Jsoupでレビュースクレイピング 指定したクラスを出力

Question

前提・実現したいこと

Jsoupでレビュースクレイピング（Amazonレビュー） 指定したクラスを出力させたいです
指定したクラスが全て出力されません。
どのように指定すればできるかご教授いただけないでしょうか。

発生している問題・エラーメッセージ

何も出力されません。
レビューの部分だけ出力されない
※レビュー以外は出力されます。

該当のソースコード

public class Amazon {

	public static void main(String[] args) {
		// TODO 自動生成されたメソッド・スタブ
		System.setProperty("jdk.http.auth.tunneling.disabledSchemes", "");

		Authenticator.setDefault(new Authenticator() {
			@Override
			protected PasswordAuthentication getPasswordAuthentication() {
				return new PasswordAuthentication("*******", "******".toCharArray());
			}
		});

		PrintWriter p = null;
		try {
			p = new PrintWriter(new BufferedWriter(new OutputStreamWriter(
					new FileOutputStream("出力先パス\amazon.csv"), "Shift-JIS")));
			// ヘッダーを指定する
			//ここは自由に変更可能です
			// 列を増やしたい場合は,と列名をセットで追加してください
			p.print("No");
			p.print(",");
			p.print("Name");
			p.print(",");
			p.print("Rating");
			p.print(",");
			p.print("Title");
			p.print(",");
			p.print("date");
			p.print(",");
			p.print("Text");
			p.println();
			//今回は列のキーとして使ってます
			int num = 1;
			Document document = Jsoup.connect("https://www.amazon.co.jp/product-reviews/B07YYDSPP7/ref=cm_cr_arp_d_viewpnt_lft?ie=UTF8&showViewpoints=1&filterByStar=positive&pageNumber=1").proxy("*******", ****).get();
			//クラス名やid名、タグ名など色々設定できます
			Elements elements = document.select(".review");
			//対象エレメントが複数ある場合取り出し
			for (Element headline : elements) {
				Element name = headline.select(".a-profile-name").first();
				Element rating = headline.select(".a-icon-alt").first();
				Element title = headline.select(".a-size-base a-link-normal review-title a-color-base review-title-content a-text-bold").first();
				Element date = headline.select(".a-size-base a-color-secondary review-date").first();
				Element text = headline.select(".a-size-base review-text review-text-content").first();
				if (name == null)
					continue;
				// 内容をセットする
				p.print(num);
				p.print(",");
				p.print(name.text());
				p.print(",");
				p.print(rating.text());
				p.print(",");
				p.print(title.text());
				p.print(",");
				p.print(date.text());
				p.print(",");
				p.print(text.text());
				p.println();
				num++;
			}
		} catch (IOException e) {
			System.out.println(e);
		} finally {
			p.close();
		}
		System.out.println("ファイル出力完了！");

	}
}

試したこと

補足情報（FW/ツールのバージョンなど）

Eclipse　Pleiades2019-12・jdk1.8.0_241・jsoup-1.12.1

Comments

[KoichiSugiyama]

Amazonのサイトのソースがないと何とも言えないのですが、Javascriptで後からレビュー部分を表示しているようなことはないでしょうか。Jsoupでスクレイピングする場合、Javascriptで動的に表示した部分はうまく取得できなかったと思います。Jsourp.connect()で取得したdocumentをdocument.html()でログ等に出力してみて、目的のクラスが指定されているタグが出力されるか確認してみてはいかがでしょうか。

[mobame]

ありがとうございます
自己解決できました

Answer 1

data-hook名を指定したら出力されました
Element name = headline.select(".a-profile-name").first();
Element rating = headline.select(".a-icon-alt").first();
Element title = headline.select(".review-title").first();
Element date = headline.select(".review-date").first();
Element text = headline.select(".review-text").first();

無事解決