###前提・実現したいこと
Anemoneとnokogiriで競合サイト比較ツールsimilarweb(例:https://www.similarweb.com/website/kakaku.com)から自動的に情報を抜き出すスクリプトを作成しようとしています。
Xpathで該当箇所を抜き取ろうとしていますが、一部テキストを取得できない箇所があり正しくコンテンツを抜き出すことができないでいます。
Xpathの取得に関しては、chromeのdeveloperツールを使用してXpathをコピーして使用しております。
###発生している問題・エラーメッセージ
リファラータイプ毎の流入比率などは問題なく取得できるのですが、
①直帰率
②Daily Unique Visitor
の値が取得できません。
###該当のソースコード
Ruby
1 anemone.on_every_page do |page| 2 doc = Nokogiri::HTML.parse(page.body) 3 #取得可能 4 title = doc.xpath("/span[@class=engagementInfo-value engagementInfo-value--large u-text-ellipsis]").text 5 #取得可能 6 direct = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[1]/div[1]/div/div").text 7 #取得可能 8 search = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[3]/div[1]/div/div").text 9 #取得可能 10 social = doc.xpath("/html/body/div[1]/div/div/div[4]/div[4]/section/div[3]/ul/li[4]/div[1]/div/div").text 11 #取得不可(今回の質問箇所-similaweb直帰率) 12 bounce = doc.xpath("/html/body/div[1]/div/div/div[4]/div[2]/div[2]/div/div[5]/div/span[2]").text 13 crowl_result.push([title,direct,search,social,bounce])
###試したこと
該当テキスト部分はJavascriptで動的に表示されているかと最初思いましたが、そういう訳ではなさそうでした。
classやspanタグのHTML的な要因で取得に失敗しているものと考えていますが、正解が得られないのでこちらに投稿させて頂きました。
よろしくお願い致します。
あなたの回答
tips
プレビュー