package htmlのNode structの使い方

Question

<div>
  <dl>
    <dt>
      <ul>
        <li>男</li> 
      </ul>
    </dt>
    <dd>太郎</dd>
    <dt>
      <ul>
        <li>男</li> 
        <li>man</li> 
      </ul>
    </dt>
    <dd>次郎</dd>
    <dt>
      <ul>
        <li>女</li> 
      </ul>
    </dt>
    <dd>花子</dd>
  </dl>
</div>

all_human := [][]string{}
doc.Find("div > dl").Each(func(index int, selection *goquery.Selection) {
        gender := selection.Find("dt > ul").Nodes
        name := selection.Find("dd").Nodes
        for i := 0; i < len(name); i++ {
            if gender[i].FirstChild.NextSibling.NextSibling.FirstChild.Data != "" {
				all_human = append(all_human, []string{gender[i].FirstChild.NextSibling.FirstChild.Data +
                gender[i].FirstChild.NextSibling.NextSibling.FirstChild.Data, 
                name[i].FirstChild.Data})
			}else{
				all_human = append(all_human, []string{gender[i].FirstChild.NextSibling.FirstChild.Data, 
                name[i].FirstChild.Data})
			}
        }
})
fmt.Println(all_human)

[["男","太郎"],["男man","次郎"],["女","花子"]]のようにしたいのですがどのようにすれば良いのでしょうか？
上記のようなif文ですとinvalid memory address or nil pointer dereferenceとなってしまいうまくできません。

また、https://godoc.org/github.com/grengojbo/goquery/exp/html#Node
を見てもフィールドや関数の種類がないのでできないのかもしれないのですが<ul>タグ以下の文字をまとめて取得のようにする簡単な方法はあるのでしょうか？
FirstChild.NextSibling.NextSibling.FirstChild.Dataのように長くなってしまう事を可能であれば避けたいです。

Comments

[nobonobo]

github.com/grengojbo/goquery latest release v0.3.2 にはexp/htmlパッケージがありません。
再現しにくくて回答が難しいです。

experimentalなフィーチャーに関して回答が欲しい場合は
experimentalなパッケージインストールにつかった手順、Goのバージョンなども示してください。

[Palo_Punte]

情報不足で大変申し訳ございませんでした。goは1.13.8になります
go get github.com/PuerkitoBio/goquery
でgoqueryをインストールしselection *goquery.SelectionにNodesを使ってみると普通に使えたため、標準で使える仕様になっているのかなと思っていました

自分の実験のファイル でimportをしているものは
"fmt"
"github.com/PuerkitoBio/goquery"
"math/rand"
"net/http"
"net/url"
"strings"
"time"
"unicode"
になります

Answer 1

ドキュメントのリンク「https://godoc.org/github.com/grengojbo/goquery」は
github.com/PuerkitoBio/goquery とは全く関係ないドキュメントですのでご注意ください。

特に標準以外のパッケージを利用している場合、
import文はかなり重要な情報なので質問される際は省略しないほうがよろしいかと思います。

僕なりの回答は以下になります。
基本ドキュメントをパースした時に存在しないノードはnilになっているので
それを確認するようにしてください。（空文字のDataをもつノードをわざわざ用意をしてくれることはないようです）

github.com/PuerkitoBio/goqueryの狙いみたいなものはわからないので
なぜこうする必要があるのかについては回答できないです。

https://play.golang.org/p/dMzn_9QqIj8

package main

import (
	"bytes"
	"fmt"
	"log"

	"github.com/PuerkitoBio/goquery"
)

const src = `
<div>
  <dl>
    <dt>
      <ul>
        <li>男</li> 
      </ul>
    </dt>
    <dd>太郎</dd>
    <dt>
      <ul>
        <li>男</li> 
        <li>man</li> 
      </ul>
    </dt>
    <dd>次郎</dd>
    <dt>
      <ul>
        <li>女</li> 
      </ul>
    </dt>
    <dd>花子</dd>
  </dl>
</div>
`

func main() {
	doc, err := goquery.NewDocumentFromReader(bytes.NewBuffer([]byte(src)))
	if err != nil {
		log.Fatal(err)
	}
	all_human := [][]string{}
	doc.Find("div > dl").Each(func(index int, selection *goquery.Selection) {
		gender := selection.Find("dt > ul").Nodes
		name := selection.Find("dd").Nodes
		for i := 0; i < len(name); i++ {
			if gender[i].FirstChild.NextSibling.NextSibling.NextSibling != nil {
				all_human = append(all_human, []string{gender[i].FirstChild.NextSibling.FirstChild.Data +
					gender[i].FirstChild.NextSibling.NextSibling.NextSibling.FirstChild.Data,
					name[i].FirstChild.Data})
			} else {
				all_human = append(all_human, []string{gender[i].FirstChild.NextSibling.FirstChild.Data,
					name[i].FirstChild.Data})
			}
		}
	})
	fmt.Println(all_human)
}

ツリーを参照するコードが長くなる件はFindをもっと活用すれば良いように思いました。

Comments

[Palo_Punte]

>github.com/PuerkitoBio/goquery とは全く関係ないドキュメントですのでご注意ください。

すいません。goqueryだけを見て同じものだと思い込んでしまいました。

>import文はかなり重要な情報なので質問される際は省略しないほうがよろしいかと思います。

divタグとかもconst srcで入れれる事を教えて頂けたので次からはすぐに実行ができる状態で投稿をさせて頂こうと思います
お手間を取らせてしまい申し訳ございませんでした

問題は、Dataとnilの比較だったのが原因だったのですね！気がつきませんでした
FirstChildとNextSiblingも改行も一つと数える？ようなので理解に手間取ってしまったのですがなんとか取得をする事が無事にできました
お手間をかけさせてしまい大変申し訳御座いませんでした。ご回答ありがとう御座いました

[nobonobo]

NextSiblingが余計に必要な理由はよくよく考えると、
`<div>text1<span>text2</span>text3</div>` こういう場合に
以下のようなツリーになっているということみたいです。
DIV
　TEXT(text1)
　SPAN
　　TEXT(text2)
　TEXT(text3)

[Palo_Punte]

ありがとうございます
私の方でも色々タグの位置を変えて調べて見ておりました
<ul>
<li>男</li>
</ul>
と
<ul><li>男</li></ul>
も違うみたいなのですね

感覚的に少しわかってきました