jsoupでHTMLタグの親要素・子要素を取り出す。

Question

package tomo_scraping;

import java.io.IOException;

import org.jsoup.Jsoup;

public class Scrapiing_tomo {
	static String url = null;
	static org.jsoup.nodes.Document document;

	public static void main(String[] args) throws IOException {
		url = "https://wowma.jp/category/510801/itemlist?spe_id=c_dw02&page=3&clk=1";
		document = Jsoup.connect(url).timeout(100000).get();//
		System.out.println(document);
	}
}

出力結果

・・・・省略
<div class="mainArea"> 
       <aside class="sidemenu ld" id="sideMenu"></aside> 
       <div id="contents"> 
        <!-- 検索結果 --> 
        <div id="searchItemList"></div> 　←ここの中身にある＜li＞を取り出したい。
        <!-- 検索結果0件 --> 
        <div id="itemNotFound"></div> 
        <div class="bottomContentsArea"> 
         <!-- 最近見た商品 --> 
         <div id="viewHistory" class="recentlyViewedCarousel"></div> 
         <div class="divisionBorder"> 
          <!--注目のキーワード--> 
          <section class="divisionSection" id="featuredKeyWord"></section> 
          <!-- オススメ特集 --> 
          <section class="divisionSection js-was" data-id="1000000000000000002" data-components="textCardText1-02" data-text="おすすめ特集"></section> 
          <section class="divisionSection clearfix"> 
          </section> 
         </div> 
         <!-- TODO カテゴリから探す（elistのみ） --> 
         <div id="searchByCategory"></div> 
        </div> 
・・・・省略

＜取り出したい中身＞

Jsoupでスクレイピングをやろうとしております。
上記のプログラムを実行した結果、<div id="searchItemList"></div>で閉じられているため、
getElementsByTagを走らせても、取り出すことが出来ません。
HTMLの親要素・子要素全て取り出す方法をどなたかご教示頂けますでしょうか。

以上、よろしくお願い致します。

Answer 1

そもそもサイトの構造に依るものですが、https://wowma.jp/category/510801/itemlist?spe_id=c_dw02&page=3&clk=1 をリクエストした結果のレスポンスは

        <!-- 検索結果 -->
        <div id="searchItemList"></div>
        <!-- 検索結果0件 -->
        <div id="itemNotFound"></div>

に必ずなっているので、JSoupとしては正しく動作しており、JSoupは動的に生成されたレスポンスを受け取るようにはできていません。

このページを表示した直後にJavaScriptで検索結果を生成しているサイトの作りですから、別途、JavaScriptで生成した結果のレスポンスを解析できるよう、ヘッドレスブラウザを用いてAjaxのレスポンス結果を受け取って、実行する手が良いでしょう。

動作検証はできていませんが、こちらが参考になるかもしれません。

https://qiita.com/kazuki-ma/items/93a317f19d6706d13858

また、類似した質問と解決結果もありますので、ご参考に。

https://teratail.com/questions/116788

Comments

[tattakahiiii]

ご連絡差し上げるのが遅くなり大変申し訳ありません。
ヘッドレスブラウザ（Selenium）を使って、スクレイピングした結果出来ました。
ご回答ありがとうございました。

Answer 2

getElementsByTag ではなく、getElementsById("searchItemList") を試してみましょう。