golang で webスクレイピングのスクリプトのエラー、と解決方法について

Question

#やりたいこと
http://recipe.rakuten.co.jp/recipe/1150010609/
このサイトのレシピデータをgo言語でスクレイピングし、その後JSONで返すapIを作りたです
#JSON

{
name:"料理名",
image:"料理写真",
explanation:"料理の説明"
material: { name:["各材料の名前をもつstringの配列"],
                 quantity:["各材料の分量をstringの配列]},
process:[{image:"料理工程の写真（ここわからない）",
          quantity:"作業内容"},.....]
}

#現在のコード

package main

import (
	"encoding/json"
	"io/ioutil"
	"os"

	"github.com/PuerkitoBio/goquery"
)

type process struct {
	Image     string `json:"image"`
	Operation string `json:"operation"`
}

type material struct {
	Name     []string `json:"name"`
	Quantity []string `json:"quantity"`
}

//メインのjson
type mesi struct {
	Name        string    `json:"name"`
	Image       string    `json:"image"`
	MemberNum   string    `json:"membernum"`
	Explanation string    `json:"n"`
	Material    material  `json:"material"`
	Process     []process `json:"process"`
}

//料理名（タイトル）を返す。
func title(url string) string {
	var i string
	doc, _ := goquery.NewDocument(url)
	doc.Find("h1").Each(func(_ int, s *goquery.Selection) {
		i = s.Text()
	})
	return i
}

//何人前かを返す関数
func people(url string) string {
	var i string
	doc, _ := goquery.NewDocument(url)
	doc.Find("div > div > div > div > div > h3 > span > span").Each(func(_ int, s *goquery.Selection) {
		i = s.Text()
	})
	return i
}

//材料の量をstringの配列で返す
func materialQuantity(url string) []string {
	var quantity []string
	doc, _ := goquery.NewDocument(url)
	doc.Find("div > div > div > div > ul > li > p.amount").Each(func(_ int, s *goquery.Selection) {
		quantity = append(quantity, s.Text())
	})
	return quantity
}

//手順をstringの配列で返す
func procedure(url string) []string {
	var procedure []string
	doc, _ := goquery.NewDocument(url)
	doc.Find("li#step_box_li.stepBox > p.stepMemo").Each(func(_ int, s *goquery.Selection) {
		procedure = append(procedure, s.Text())
	})
	return procedure
}

//完成時の写真のurlをstringで返す。
func image(url string) string {
	var imgURL string
	doc, _ := goquery.NewDocument(url)
	doc.Find("div > div > span > img").Each(func(_ int, s *goquery.Selection) {
		url, _ := s.Attr("src")
		// fmt.Println(url)
		imgURL = url
	})
	return imgURL
}

//調理時のコツについてをstringで返す。
func kotu(url string) string {
	var kotu string
	doc, _ := goquery.NewDocument(url)
	doc.Find("div.howtoPointBox.last > p").Each(func(_ int, s *goquery.Selection) {
		kotu = s.Text()
	})
	return kotu
}

//材料の名前をstringの配列で返す
func mat(url string) []string {
	var materials []string
	doc, _ := goquery.NewDocument(url)
	doc.Find("div > div > div > div > ul > li > a#material_link.name").Each(func(_ int, s *goquery.Selection) {
		materials = append(materials, s.Text())
	})
	return materials
}

//説明文を返す。
func exp(url string) string {
	var i string
	doc, _ := goquery.NewDocument(url)
	doc.Find(" div >div > div > div > p.summary").Each(func(_ int, s *goquery.Selection) {
		i = s.Text()
	})
	return i
}

//各pointを１.もう一度作りたい ２.簡単だった ３.節約できた
// func point(url string) []int64 {
// 	var points []string
// 	doc, _ := goquery.NewDocument(url)
// 	doc.Find("dl > dd > div > p.num ").Each(func(_ int, s *goquery.Selection) {
// 		points = append(points, s.Text())
// 	})
// 	return points
// }

func main() {
	var recipe mesi
	var mat material
	var proc [30]process
	s := 0
	url := "http://recipe.rakuten.co.jp/recipe/1150010609/"

	recipe.Name = title(url)
	recipe.Image = image(url)
	recipe.MemberNum = people(url)
	resipe.Explanation = exp(url)

	mat.Quantity = materialQuantity(url)
	mat.Name = mat(url)
	resipe.Material = mat
	for i := range procedure(url) {
		proc[s].Operation = append(proc.Operation, i)
		s++
	}
	recipe.Process = proc
	bytes, _ := json.Marshal(recipe)
	ioutil.WriteFile("./test.json", bytes, os.ModePerm)
}

#エラー

# command-line-arguments
./getCooking.go:133: undefined: resipe in resipe.Explanation
./getCooking.go:133: cannot assign to resipe.Explanation
./getCooking.go:136: cannot call non-function mat (type material)
./getCooking.go:137: undefined: resipe in resipe.Material
./getCooking.go:137: cannot assign to resipe.Material
./getCooking.go:139: proc.Operation undefined (type [30]process has no field or method Operation)
./getCooking.go:142: cannot use proc (type [30]process) as type []process in assignment

#知りたいこと

• エラーの解消方法を教えていただきたい
• 作り方の途中で出てくる写真がない時があって、その場合どうやってそこをスキップして、作業工程の番号と同じjsonの配列の中に入れられるのかを教えていただきたい

Answer 1

エラーの解消方法を教えていただきたい

undefined: ...となっているのは、変数が定義されていないことを示します。
定義しているはずの変数がundefined: ...となるのは、名前が間違っていることが考えられます。

cannot call non-function mat (type material)の箇所は、
matはmaterial型の変数だから関数として使えない、と言っています。
matという名前を使おうとした場合、Goは変数の方だと思っているわけです。

cannot use proc (type [30]process) as type []process in assignmentは、
固定長配列とスライスは互換性が無いので代入できないためです。

procedureの結果をループするところは、色々おかしいですね。
proc.Operationはスライスでないのでappendできません。もしappendするとしてもprocの方でしょう。
下記のようにすれば結果のstring配列をそれぞれのOperationにセットできます。
変数sは不要です。

for i, v := range procedure(url) {
    proc[i].Operation = v
}

作り方の途中で出てくる写真がない時があって、その場合どうやってそこをスキップして、作業工程の番号と同じjsonの配列の中に入れられるのかを教えていただきたい

こちらは、結果としてどうしたいのかを決めていただく必要があります。

Comments

[ShouYama]

anic: runtime error: index out of range

goroutine 1 [running]:
panic(0x3a52e0, 0xc82000a100)
/usr/local/Cellar/go/1.6.2/libexec/src/runtime/panic.go:481 +0x3e6
main.main()
/Users/yamamshou/Bot/line_sc/getCooking.go:134 +0x493
exit status 2

こうなってしましました。

[ShouYama]

package main

import (
"encoding/json"
"io/ioutil"
"os"

"github.com/PuerkitoBio/goquery"
)

type process struct {
Image string `json:"image"`
Operation string `json:"operation"`
}

type material struct {
Name []string `json:"name"`
Quantity []string `json:"quantity"`
}

//メインのjson
type mesi struct {
Name string `json:"name"`
Image string `json:"image"`
MemberNum string `json:"membernum"`
Explanation string `json:"explanation"`
Material material `json:"material"`
Process []process `json:"process"`
}

//料理名（タイトル）を返す。
func title(url string) string {
var i string
doc, _ := goquery.NewDocument(url)
doc.Find("h1").Each(func(_ int, s *goquery.Selection) {
i = s.Text()
})
return i
}

//何人前かを返す関数
func people(url string) string {
var i string
doc, _ := goquery.NewDocument(url)
doc.Find("div > div > div > div > div > h3 > span > span").Each(func(_ int, s *goquery.Selection) {
i = s.Text()
})
return i
}

//材料の量をstringの配列で返す
func materialQuantity(url string) []string {
var quantity []string
doc, _ := goquery.NewDocument(url)
doc.Find("div > div > div > div > ul > li > p.amount").Each(func(_ int, s *goquery.Selection) {
quantity = append(quantity, s.Text())
})
return quantity
}

//手順をstringの配列で返す
func procedure(url string) []string {
var procedure []string
doc, _ := goquery.NewDocument(url)
doc.Find("li#step_box_li.stepBox > p.stepMemo").Each(func(_ int, s *goquery.Selection) {
procedure = append(procedure, s.Text())
})
return procedure
}

//完成時の写真のurlをstringで返す。
func image(url string) string {
var imgURL string
doc, _ := goquery.NewDocument(url)
doc.Find("div > div > span > img").Each(func(_ int, s *goquery.Selection) {
url, _ := s.Attr("src")
// fmt.Println(url)
imgURL = url
})
return imgURL
}

//調理時のコツについてをstringで返す。
func kotu(url string) string {
var kotu string
doc, _ := goquery.NewDocument(url)
doc.Find("div.howtoPointBox.last > p").Each(func(_ int, s *goquery.Selection) {
kotu = s.Text()
})
return kotu
}

//材料の名前をstringの配列で返す
func mat(url string) []string {
var materials []string
doc, _ := goquery.NewDocument(url)
doc.Find("div > div > div > div > ul > li > a#material_link.name").Each(func(_ int, s *goquery.Selection) {
materials = append(materials, s.Text())
})
return materials
}

//説明文を返す。
func exp(url string) string {
var i string
doc, _ := goquery.NewDocument(url)
doc.Find(" div >div > div > div > p.summary").Each(func(_ int, s *goquery.Selection) {
i = s.Text()
})
return i
}

func main() {
var recipe mesi
var mats material
var proc []process
url := "http://recipe.rakuten.co.jp/recipe/1150010609/"

recipe.Name = title(url)
recipe.Image = image(url)
recipe.MemberNum = people(url)
recipe.Explanation = exp(url)

mats.Quantity = materialQuantity(url)
mats.Name = mat(url)
recipe.Material.Name = mats.Name
recipe.Material.Quantity = mats.Quantity
for i, v := range procedure(url) {
proc[i].Operation = v
}
recipe.Process = make([]process, len(proc))
copy(recipe.Process, proc)
bytes, _ := json.Marshal(recipe)
ioutil.WriteFile("./test.json", bytes, os.ModePerm)
}

[ShouYama]

上コードです

[ShouYama]

例えば、７つの作業工程があった場合、で2,5,7の工程に写真があったとしたら
{image:["","url2","","","url5","","url7"]}
みたいにしたいのですが、この時の空白の部分を詰めてしまって、うまく開けられないのでどうしたらいいのかな、と困っています。

[argius]

私が書いたのはprocを[30]processに合わせた場合の例でした。
スライスにした場合、こうします。

proc = make([]process, 0)
for _, v := range procedure(url) {
p := process{Operation: v}
proc = append(proc, p)
}

配列とスライスの違い、スライスの使い方について理解が不足していらっしゃるようですので、その辺を学習なさって下さい。

[ShouYama]

ありがとうございます！
エラーは解消しました！

スクレイピングについてなのですがどうですか？

[argius]

> スクレイピングについてなのですがどうですか？

{image:["","url2","","","url5","","url7"]}みたいにしたいところですよね？
今考え中です。

質問と関係ないですが、
このコードだとgoquery.NewDocument(url)を何度も呼び出して無駄があるように見えます。
（何度もページにアクセスしてしまう）
doc, _ := goquery.NewDocument(url)をmainに書いて
docを使いまわした方が良いと思います。

[argius]

そもそもですが、
いまは
processの配列でimageとoperationをセットにしているので、
"process":[{"image":"","operation":"step1"},{"image":"","operation":"step2"},...]
みたいになってますよね。
だったら
{image:["","url2","","","url5","","url7"]}
みたいにならなくないですか？

[ShouYama]

間違いました、写真のないところは""にしたいんです。

[argius]

> 間違いました、写真のないところは""にしたいんです。

えーと、すみません、
{image:["","url2","","","url5","","url7"]}
は既に、写真のないところは""になっているように見えますが、
どこが間違いですか？

それに、処理の方はprocessの配列でimageとoperationをセットにしているのに、
"process":[{"image":"","operation":"step1"},{"image":"","operation":"step2"},...]
ではなくて
{image:["","url2","","","url5","","url7"]}
にしようとしているのはなぜですか？

もし{image:["","url2","","","url5","","url7"]}を
個別に持とうとしているのでしたら、
type mesi structのどこに入れるのかを示してください。

[ShouYama]

えーっとですね、まずもって、goでスクレイピングをする時に、この楽天のレシピサイトは
作り方のところに写真がない工程とある工程があるので、画像のすべてのurlはとってこれるんですけどこれがどの、工程の写真かを判定するほうほうがわからなくて教えて欲しいというのが、質問で
上の{image:["","url2","","","url5","","url7"]}っていうのは、image:っていうのが間違えで、イメージとして、スクレイピングする関数が["","url2","","","url5","","url7"]こんな感じで返してきてそれを、他の要素と同様にmainで{image:"料理工程の写真（ここわからない）"くっつけたいっていうイメージをもって発言していました。

[argius]

> スクレイピングする関数が["","url2","","","url5","","url7"]こんな感じで返してきて

ああ、なるほど、関数の結果のことを言っていたんですね。

それなら、processの配列を返す関数を作れば良いんじゃないでしょうか。

li.stepBox単位で取り出して、
その下にあるdiv.stepPhoto > span > imgをprocess.Imageに、
p.stepMemoをprocess.Operationにセットする。
これをli.stepBoxの要素数分繰り返せば、
processの配列が完成します。

この関数を作れば、
recipe.Processに直接その結果を代入できて、
先ほどのmain側のスライス生成は不要になります。
その代わり、そのスライス生成の部分は関数側に書きます。