質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
XPath(XML Path)

XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

Q&A

0回答

1890閲覧

Xpathでsimilarwebからテキストを取得できない

koyamauchi

総合スコア8

XPath(XML Path)

XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

0グッド

0クリップ

投稿2016/08/10 07:41

編集2016/08/10 07:43

###前提・実現したいこと
Anemoneとnokogiriで競合サイト比較ツールsimilarweb(例:https://www.similarweb.com/website/kakaku.com)から自動的に情報を抜き出すスクリプトを作成しようとしています。

Xpathで該当箇所を抜き取ろうとしていますが、一部テキストを取得できない箇所があり正しくコンテンツを抜き出すことができないでいます。
Xpathの取得に関しては、chromeのdeveloperツールを使用してXpathをコピーして使用しております。

###発生している問題・エラーメッセージ
リファラータイプ毎の流入比率などは問題なく取得できるのですが、
①直帰率
②Daily Unique Visitor
の値が取得できません。

###該当のソースコード

Ruby

1 anemone.on_every_page do |page| 2 doc = Nokogiri::HTML.parse(page.body) 3 #取得可能 4 title = doc.xpath("/span[@class=engagementInfo-value engagementInfo-value--large u-text-ellipsis]").text 5 #取得可能 6 direct = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[1]/div[1]/div/div").text 7 #取得可能 8 search = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[3]/div[1]/div/div").text 9 #取得可能 10 social = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[4]/div[1]/div/div").text 11 #取得不可(今回の質問箇所-similaweb直帰率) 12 bounce = doc.xpath("/html/body/div[1]/div/div/div[4]/div[2]/div[2]/div/div[5]/div/span[2]").text 13 crowl_result.push([title,direct,search,social,bounce])

###試したこと
該当テキスト部分はJavascriptで動的に表示されているかと最初思いましたが、そういう訳ではなさそうでした。
classやspanタグのHTML的な要因で取得に失敗しているものと考えていますが、正解が得られないのでこちらに投稿させて頂きました。
よろしくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問