質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.51%
Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

XPath(XML Path)

XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

1回答

3751閲覧

HTMLをXPathでパースできない(Validator.nu HTML Parser)

退会済みユーザー

退会済みユーザー

総合スコア0

Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

XPath(XML Path)

XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2016/09/07 14:16

編集2016/09/08 09:37

Validator.nu HTML Parserを使ってHTMLをXPathでパースしたいのですが、結果が返ってきません。
デバッグしていて、Documentの中身がnullではないがきちんと入っていないような感じです。
以下のコードのnodeの中身がnullのままです。
原因や解決策をご教授いただけないでしょうか。

import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.StringReader; import java.net.URL; import java.util.HashMap; import javax.xml.xpath.XPath; import javax.xml.xpath.XPathConstants; import javax.xml.xpath.XPathExpressionException; import javax.xml.xpath.XPathFactory; import org.w3c.dom.Document; import org.w3c.dom.Node; import org.xml.sax.InputSource; import org.xml.sax.SAXException; import nu.validator.htmlparser.dom.HtmlDocumentBuilder; public class Foo { public static void main(String[] args) throws IOException { long t1 = System.currentTimeMillis(); response=new HashMap<>(); URL url= new URL("http://www.yahoo.co.jp"); String content=getSourceText(url); //System.out.println(content); HtmlDocumentBuilder builder = new HtmlDocumentBuilder(); StringReader reader = new StringReader(content); Document doc=null; try { //doc = builder.parse(new InputSource(new ByteArrayInputStream(content.getBytes("UTF-8")))); doc = builder.parse(new InputSource(reader)); } catch (SAXException e1) { e1.printStackTrace(); }catch(Exception e){ e.printStackTrace(); } XPathFactory factory = XPathFactory.newInstance(); XPath xpath = factory.newXPath(); Node node=null; try { //String fooString = xpath.evaluate("//*[@id=feed-tabs]/ul/li[1]/div",doc); //String fooString = xpath.evaluate("//*[@id=\"typhoon\"]",doc); //System.out.println(fooString); String path = "//*[@id=typhoon]"; node = (Node) xpath.evaluate(path,doc, XPathConstants.NODE); } catch (XPathExpressionException e) { e.printStackTrace(); } } public static String getSourceText(URL url) throws IOException { InputStream in = url.openStream(); StringBuilder sb = new StringBuilder(); try { BufferedReader bf = new BufferedReader(new InputStreamReader(in)); String s; while ((s=bf.readLine())!=null) { sb.append(s); } } finally { in.close(); } return sb.toString(); } }

参考にしたサイト
ちなみに、これまではjsoupを使っていたのですが、
・idの重複に対応していない(指定されたidの最初の要素しか取れない)
・パースしているwebサイトに改修が入った時に大幅にコーディングの直しが必要
ということでやめました。
cybernekoも使ったことはありますが、HTML5に対応していないようでした。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

参考程度ですが、
XPathConstants.NODESETを使って以下のようにしたところ、出力はされました。

// XPathFactory生成から出力まで XPathFactory factory = XPathFactory.newInstance(); XPath xpath = factory.newXPath(); NodeList nodeList = null; try { String path = "//*"; nodeList = (NodeList)xpath.evaluate(path ,doc, XPathConstants.NODESET); } catch (XPathExpressionException e) { e.printStackTrace(); } for (int i = 0; i < nodeList.getLength(); i++) { System.out.println(nodeList.item(i).getTextContent()); }

投稿2016/09/09 05:23

java-beginner

総合スコア452

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2016/09/09 05:47

回答ありがとうございます。 XPathConstants.NODEがいけなかったのでしょうか。
java-beginner

2016/09/09 05:57

「String path = "//*[@id=typhoon]";」で要素が取得できるかどうかの問題だと思います。そこのところは、わからなかったため、「"//*";」にしました。 XPathConstants.NODEでも取得は出来ました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.51%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問