net.httpのResponse.Bodyを使いまわしたい

Question

以下の例のようにhttp.Responseを複数の用途で使用したいです。
その際にresp.Bodyがクローズされてしまい、後続の処理では空と扱われてしまいます。

Goではこのような処理を行う場合、どのようにするのがベストなのでしょうか。

// HTTP GET
resp, err := http.Get("http://example.com")

// FILE WRITE 1
file1, err := os.Create("foo.html")
io.Copy(file1, resp.Body) // resp.Bodyが書き込まれる
file1.Close()

// FILE WRITE 2
file2, err := os.Create("bar.html")
io.Copy(file2, resp.Body) // resp.BodyはCloseされているので何も書き込まれない
file2.Close()

// goquery
doc, err := goquery.NewDocumentFromReader(resp.Body) // resp.Bodyはクローズされているので空のHTMLとしてパースされる
doc.Find("hmtl").Each(func(i int, s *goquery.Selection) {
})

Answer 1

io.TeeReaderとio.MultiWriterのコンビネーションがオススメです

file1, err := os.Create("foo.html")
//errハンドリング
defer file1.Close()
file2, err := os.Create("bar.html")
//errハンドリング
defer file2.Close()
doc, err := goquery.NewDocumentFromReader(
    io.TeeReader(resp.Body, io.MultiWriter(file1, file2)),
)
//errハンドリング

参考: https://play.golang.org/p/mmWOW03jtx

goquery.NewDocumentFromReaderがTeeReaderインスタンスから読むと読んだ内容のコピーがMultiWriterインスタンスに書き込まれます。
MultiWriterインスタンスに書き込まれた内容はfile1、file2にコピーが書き込まれます。

このやり方を取ると、resp.Bodyの長さがやたら長くてもメモリ使用量はそんなに増えません。

Comments

[退会済みユーザー]

ご回答ありがとうございます。

string,byte[]として変数に持たなければいけないのかな、でもそうするとCPUとメモリも無駄になってしまうと悩んでいたので、とても助かりました。