Mechanizeで抽出するデータを細かく指定したい

Question

現在某サイトを利用してスクレイピングの勉強をしています。
少しは理解できたと思うのですが、
下記のHTMLコードから

• <div class="aaa">タグ内のテキスト(3件 - ooopppqqq、yyy、zzz)を抽出したい
• <span class="bbb">タグ内のテキスト(α、β、θ)は抽出したくない
• 1件目は一番難儀でαは不要、ooo、aタグ内のテキストppp、aタグ直後のqqqを連結したooopppqqqを取得したい
• 2、3件目はyyy、zzzを取得したい

といった場合のコードの書き方が全くわかりません(m_ m)
もしわかる方がいらっしゃればご教授いただきますようよろしくお願いいたします(m _m)

<div class="list">
  <ol>
    <li>
      <div class="aaa">
        <span class="bbb">α</span>
        ooo<a href="site_url">ppp</a>qqq
      </div>
    </li>
    <li>
      <div class="aaa">
        <span class="bbb">β</span>
        yyy
      </div>
    </li>
    <li>
      <div class="aaa">
        <span class="bbb">θ</span>
        zzz
      </div>
    </li>
  </ol>
</div>

動作環境

Ruby	2.5.7
Mechanize	2.7.6

期待する動作

• <div class="aaa">タグ内のテキスト(3件 - ooopppqqq、yyy、zzz)を抽出したい
• <span class="bbb">タグ内のテキスト(α、β、θ)は抽出したくない
• 1件目は一番難儀でαは不要、ooo、aタグ内のテキストppp、aタグ直後のqqqを連結したooopppqqqを取得したい
• 2、3件目はyyy、zzzを取得したい

# 現状だと下記のようにデータが取得されます
#[
#  "ooo",
#  "qqq",
#  "yyy",
#  "zzz"
#]

# 理想は下記のようにデータが取得されること
#[
#  "ooopppqqq",
#  "yyy",
#  "zzz"
#]

コード

スクレイピングするHTML(整形)

• sample.html

<div class="list">
  <ol>
    <li>
      <div class="aaa">
        <span class="bbb">α</span>
        ooo<a href="site_url">ppp</a>qqq
      </div>
    </li>
    <li>
      <div class="aaa">
        <span class="bbb">β</span>
        yyy
      </div>
    </li>
    <li>
      <div class="aaa">
        <span class="bbb">θ</span>
        zzz
      </div>
    </li>
  </ol>
</div>

追記:修正したコード(Ruby)

require 'mechanize'
   
agent = Mechanize.new
# sample.html　のコードが含まれるurlから情報を取得
page = agent.get(url)
html_infos = page.search('.aaa')

foo = page.xpath("//div[@class='aaa']//text()")
bar = page.xpath("//div[@class='aaa']/span[@class="bbb"]//text()")
extracted_datas = (foo - bar).map{|x| x.text.strip}.select{|x| x!=""}

p extracted_datas

# 現状だと下記のようにデータが取得されます
#[
#  "ooo",
#  "qqq",
#  "yyy",
#  "zzz"
#]

# 理想は下記のようにデータが取得されること
#[
#  "ooopppqqq",
#  "yyy",
#  "zzz"
#]

現状のコード

require 'mechanize'
   
agent = Mechanize.new
# sample.html　のコードが含まれるurlから情報を取得
page = agent.get(url)
html_infos = page.search('.aaa')

extracted_datas = []
html_infos.each do |ele|
  extracted_datas << ele.inner_text
end

Answer 1

このHTMLだと、<div class="aaa">直下の(空白で無い)テキストノードを取れば良いので、

extracted_datas  = 
  page.xpath("//div[@class='aaa']/text()").map{|x| x.text.strip}.select{|x| x!=""}

子ノードがある場合も、それを含めるのか含めないのかを明確にすれば、なんとかなります。

#追記
直下でないテキストノードも対象とする場合。

# div.aaa の中の全テキストノードを取得
foo = page.xpath("//div[@class='aaa']//text()")
# span.bbb の中の全テキストノードを取得
bar = page.xpath("//div[@class='aaa']/span[@class='bbb']//text()")
# その差を求める
extracted_datas  = 
   (foo-bar).map{|x| x.text.strip}.select{|x| x!=""}

1つのdiv.aaaごとに文字列をつなげたいとかだとちょっと面倒だと思います。

#追記2

1つのdiv.aaaごとに文字列をつなげたいとかだとちょっと面倒だと思います。

そうでも無かった。

extracted_datas  = 
page.xpath("//div[@class='aaa']").map do |div|
    foo = div.xpath(".//text()")
    bar = div.xpath(".//span[@class='bbb']//text()")
    (foo-bar).map{|x| x.text.strip}.join
end

Comments

[begenner]

期待したとおりの値が取得できました。ありがとうございます。
ただ私の記述漏れがあり、上記のHTMLコードの中にaタグが記述されているのを見落としていたため、
配列として取得したデータが、1レコード分のデータが分離して2レコード分になってしまいました。

aタグの中のテキストも必要な状況です。
お手数ですが、上記の回答をどのようにすればいいか教えていただけると幸いです。よろしくお願いします(m_ _m)
aタグ入りのコードは下記の通りです。

<div class="aaa">
<span class="bbb">α</span>xxx<a href="site_url">あいう</a>xxxx
</div>

[begenner]

回答いただいた内容を参考に修正してみましたが、結果は変わりませんでした(m_ _m)
投稿内容に追記しましたので、もしみていただけるならよろしくお願いします(m_ _m)

[otn]

要件を小出しにするのはやめましょう。

[begenner]

期待通りの値が取得できました!!
今後は要件をまとめて掲載できるよう気をつけます(m_ _m)
ありがとうございました!!