golangでのlinebot上でスクレイピングした結果が返ってこない

Question

linebot-sdk-goとgoqueryを用いて、スクレイピングした結果を特定のワードの返答として返したいのですが、linebotで表示されません。
herokuで行っているのですが、リクエストは届いているみたいです。

以下はコードです。

for _, event := range events {
            if event.Type == linebot.EventTypeMessage {
				switch msg := event.Message.(type) {
				case *linebot.TextMessage:
                    if msg.Text == "test"{
                        bot.ReplyMessage(event.ReplyToken, linebot.NewTextMessage("success")).Do()
                    }else if msg.Text == "now" {
                        n := time.Now()
                        NowT := timeutil.Strftime(&n,"%Y年%m月%d日%H時%M分%S秒")
                        bot.ReplyMessage(event.ReplyToken,linebot.NewTextMessage(NowT)).Do()
                    }else if msg.Text == "disney"{
	                    doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
                        if err != nil {
                            log.Fatal(err)
                        }
	                    test := doc.Find(".wait-time #WL_BTMOUNTAIN .area .time p").Text()
                        _, err = bot.ReplyMessage(event.ReplyToken,linebot.NewTextMessage(test)).Do()
                        if err != nil {
                            log.Fatal(err)
                        }
                    }
			    }
            }
		}

disneyに対する応答でのherokuのlogは以下のようになりました。

2017-12-27T13:09:37.740726+00:00 app[web.1]: 2017/12/27 13:09:37 linebot: APIError 400 The request body has 1 error(s)
2017-12-27T13:09:37.740741+00:00 app[web.1]: [messages[0].text] May not be empty
2017-12-27T13:09:43.499233+00:00 heroku[web.1]: State changed from starting to up
2017-12-27T13:09:37.745937+00:00 heroku[router]: at=error code=H13 desc="Connection closed without response" method=POST path="/callback" 

Comments

[mattn]

これだけではどこまで通ったか分かりません。heroku のログを確認したり log をもう少し足してどこまで処理が進んだのか確認して下さい。

[mattn]

あともう1点、bot.ReplyMessage(event.ReplyToken,linebot.NewTextMessage(test)).Do() でエラーが返っているかもしれないのでログに出力するなどした方が良いです。

[seven77]

bot.ReplyMessage(event.ReplyToken,linebot.NewTextMessage(test)).Do()でのエラーをログに出力の仕方がわからないのですが、教えていただけると助かります

[mattn]

https://github.com/line/line-bot-sdk-go/blob/c87b736869c5b513726a60407afa5c31d4a94aa4/linebot/send_message.go#L112 戻り値が2つ返るので _, err := bot.Reply.... の様に err を受けて if err != nil { log.Fatal(err) } などで出力すると良いかと思います。

[seven77]

ありがとうございます！err内容はでたのでかくにんしてみます

Answer 1

line-bot-sdk-go のテストコード を見る限りですが、送っている text が空文字列の様です。scraping が失敗しているのではないでしょうか。

ちなみに軽く HTML を見た感じ、selector は以下の間違いではないでしょうか？

test := doc.Find("#WL_BTMOUNTAIN .area p").Text()	

Comments

[seven77]

回答ありがとうございます。
指摘されたコードで直しましたが同様のエラーが発生しました。

linebotのコードでない場合、以下の所はうまくいきました。
```
doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
if err != nil {
log.Fatal(err)
}
test := doc.Find(".wait-time #WL_BTMOUNTAIN .area .time p").Text()
```

[mattn]

いえ、 .time は要りません。

[seven77]

.timeを抜いてやったところ、同様のエラーが発生してうまく行きませんでした。
```

doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
if err != nil {
log.Fatal(err)
}
test := doc.Find(".wait-time #WL_BTMOUNTAIN .area .time p").Text()

```

だけで他のgoファイルでやるとうまくいきます。

```
for _, event := range events {
if event.Type == linebot.EventTypeMessage {
switch msg := event.Message.(type) {
case *linebot.TextMessage:
if msg.Text == "test" {
bot.ReplyMessage(event.ReplyToken, linebot.NewTextMessage("success")).Do()
} else if msg.Text == "now" {
n := time.Now()
NowT := timeutil.Strftime(&n, "%Y年%m月%d日%H時%M分%S秒")
bot.ReplyMessage(event.ReplyToken, linebot.NewTextMessage(NowT)).Do()
} else if msg.Text == "disney" {
doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
if err != nil {
log.Fatal(err)
}
test := doc.Find("#WL_BTMOUNTAIN .area p").Text()
_, err = bot.ReplyMessage(event.ReplyToken, linebot.NewTextMessage(test)).Do()
if err != nil {
log.Fatal(err)
}
}
}
}
}
```
上記だとうまくいきませんでした。

[seven77]

```
package main

import (
"fmt"

"github.com/PuerkitoBio/goquery"
)

func main() {
doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
if err != nil {
fmt.Println(err.Error())
}

wait := doc.Find(".wait-time #WL_BTMOUNTAIN .area .time p").Text()
fmt.Println(wait)

}
```

だとうまくいきます

[mattn]

閉園後は .time ノードが無くなるようですね。

[seven77]

.timeノードをなくしてエラーを見ても同様で、空文字となってしまいます。

```
```
package main

import (
"fmt"

"github.com/PuerkitoBio/goquery"
)

func main() {
doc, err := goquery.NewDocument("http://disneyreal.asumirai.info/realtime/disneyland-wait-today.html")
if err != nil {
fmt.Println(err.Error())
}

wait := doc.Find("#WL_BTMOUNTAIN .area p").Text()
fmt.Println(wait)

}
```
実行すると、今だと以下のように返ってきます

```
運営中発券終了100 分待ち
```

[seven77]

LINEbotのほうだとうまくいきませんでした。

[mattn]

ディズニーのページが heroku などのサーバを拒否している可能性はあります。bot のアクセスが多くて困っているサイトなどはそういう対応をする場合もあります。