Go で 大量のテキストファイルを POST するときの書き方について

Question

前提・実現したいこと

大量のテキストファイル（1万ファイル以上）を POST したい。

エラーメッセージ

fatal: error: Post "http://xxx.xxx.xxx.xxx:xxxx/upload": dial tcp xxx.xxx.xxx.xxx:xxxx: i/o timeout<nil>

該当のソースコード

うまくいくパターン

func main(){
  ary := ["/root/a/a.txt","/root/b/b.txt","/root/c/c.txt",...] // アップロード対象のファイルパスが大量に入っている配列

  for _,v := range ary {
    postFile(v, "http://xxx.xxx.xxx.xxx:xxxx/upload")
  }
}

func postFile(filename string, targetUrl string) error {
    bodyBuf := &bytes.Buffer{}
    bodyWriter := multipart.NewWriter(bodyBuf)

    //キーとなる操作
    fileWriter, err := bodyWriter.CreateFormFile("file-text", filename)
    if err != nil {
        fmt.Println("error writing to buffer")
        return err
    }

    //ファイルハンドル操作をオープンする
    fh, err := os.Open(filename)
    if err != nil {
        fmt.Println("error opening file")
        return err
    }
    defer fh.Close()

    //iocopy
    _, err = io.Copy(fileWriter, fh)
    if err != nil {
        return err
    }

    contentType := bodyWriter.FormDataContentType()
    bodyWriter.Close()

    resp, err := http.Post(targetUrl, contentType, bodyBuf)
    if err != nil {
        return err
    }
    defer resp.Body.Close()
    resp_body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return err
    }
    fmt.Println(resp.Status)
    fmt.Println(string(resp_body))
    return nil
}

エラーが出るパターン

func main (){
  ary := ["/root/a/a.txt","/root/b/b.txt","/root/c/c.txt",...] // アップロード対象のファイルパスが大量に入っている配列
  file_upload(ary)
}
func file_upload(file_paths []string) {
    for _, file_path := range file_paths {

        var buf bytes.Buffer
        w := multipart.NewWriter(&buf)

        f, err := os.Open(file_path)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        defer f.Close()
        fw, err := w.CreateFormFile("file-text", file_path)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        _, err = io.Copy(fw, f)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        w.Close()
        req, err := http.NewRequest("POST", "http://xxx.xxx.xxx.xxx:xxxx/upload", &buf)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        req.Header.Set("Authorization", "Bearer YYYY")
        req.Header.Set("Content-Type", w.FormDataContentType())

        resp, err := http.DefaultClient.Do(req)
            defer resp.Body.Close()
        time.Sleep(time.Second * 1)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        fmt.Println(resp)
    }
}

希望

file_upload関数の書き方でPOSTしたい（AuthorizationのBearerを使いたいたいめ）のですが、上記の io エラーが出てしまっています。（5ファイル～20ファイル程はきちんとアップロードされ、そのあと詰まった感じになり上記エラーが発生。早すぎるから問題なのかな？思い、送信処理時にsleepを毎回1秒ほどいれてみたが結果は変わらず。）

ioエラーを出さずに、POST（AuthorizationのBearer利用）できる方法がありましたらご教示いただけませんでしょうか？

うまくいくパターンの書き方ですと、ヘッダーの追加が不可能なため何かいい手がありましたら幸いです。

補足情報（FW/ツールのバージョンなど）

Ubuntu18.04
go version go1.15.6 linux/amd64

#追記

頂いたアドバイスを元に修正したバージョン１（func(){}()を追記）

func main (){
  ary := ["/root/a/a.txt","/root/b/b.txt","/root/c/c.txt",...] // アップロード対象のファイルパスが大量に入っている配列
  file_upload(ary)
}
func file_upload(file_paths []string) {
    for _, file_path := range file_paths {
      func () {
        var buf bytes.Buffer
        w := multipart.NewWriter(&buf)

        f, err := os.Open(file_path)
        if err != nil {
          fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        defer f.Close()
        fw, err := w.CreateFormFile("file-text", file_path)
        if err != nil {
          fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        _, err = io.Copy(fw, f)
        if err != nil {
          fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        w.Close()
        req, err := http.NewRequest("POST", "http://xxx.xxx.xxx.xxx:xxxx/upload", &buf)
        if err != nil {
          fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        req.Header.Set("Authorization", "Bearer YYYY")
        req.Header.Set("Content-Type", w.FormDataContentType())

        resp, err := http.DefaultClient.Do(req)
        defer resp.Body.Close()
        time.Sleep(time.Second * 1)
        if err != nil {
          fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        fmt.Println(resp)
      }()
    }
}

頂いたアドバイスを元に修正したバージョン（for文の中で関数を回す）

func main (){
  ary := ["/root/a/a.txt","/root/b/b.txt","/root/c/c.txt",...] // アップロード対象のファイルパスが大量に入っている配列
  for _,file_path := range file_paths{
    file_upload(file_path)
  }
}
func file_upload(file_path string) {

        var buf bytes.Buffer
        w := multipart.NewWriter(&buf)

        f, err := os.Open(file_path)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        defer f.Close()
        fw, err := w.CreateFormFile("file-text", file_path)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        _, err = io.Copy(fw, f)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        w.Close()
        req, err := http.NewRequest("POST", "http://xxx.xxx.xxx.xxx:xxxx/upload", &buf)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        req.Header.Set("Authorization", "Bearer YYYY")
        req.Header.Set("Content-Type", w.FormDataContentType())

        resp, err := http.DefaultClient.Do(req)
            defer resp.Body.Close()
        time.Sleep(time.Second * 1)
        if err != nil {
      fmt.Fprintf(os.Stderr, "fatal: error: %s", err.Error())
        }
        fmt.Println(resp)
}

ともに詰まってしまい、同じエラーメッセージがクライアント側で表示されます。

Answer 1

これが原因です。
Big Sky :: golang では for ループの中で defer してはいけない。

一番目のパターンでは関数が終わるたび defer resp.Body.close() が呼ばれているためタイムアウトが発生しても内部で自動的に TCP コネクションを張り替えてリクエストし直しています。しかし二番目のパターンでは defer resp.Body.close() が期待されるのは for ループを抜けた最後の 1 回のみです。コネクションを張り替える暇もなくタイムアウトです。ではどうするか。記事にもあるように関数で for で回したい処理を切り取ると良いでしょう。

Comments

[EzrealTrueshot]

ありがとうございます！
頂いたURLとおりに
```
func(){
}()
```
で編集しなおしたのですが、やはり、途中で止まってしまいます。。。
ほかに何か心当たりがありそうなところがありましたらアドバイスいただけますと幸いです。

[A_kirisaki]

ソースコードを質問に追記お願いします

[EzrealTrueshot]

また、`うまくいくパターン` のように関数の中でfor文をするのではなく、for文のなかで関数を回しても同じ結果でした。

[EzrealTrueshot]

はい。ソースコードを載せます。

[EzrealTrueshot]

fmt.Println("xxxx")でどこが詰まっているのかを調査したところ
fmt.Println("req --- start")
resp, err := http.DefaultClient.Do(req)
fmt.Println("req --- end")
ここで詰まっていました。

req --- start が表示されてから、 req --- end が表示されてませんでした。

httpのリクエストの仕方は合っていると思うのですが。。。

[A_kirisaki]

Do と Post のソースコードまで読みにいったんですが謎なんですよね……もうちょっと調べてみます

[A_kirisaki]

export GODEBUG=http2debug=1 でデバッグログが見れるのでなにかおかしなリクエストしてたら追記してみてください。

[EzrealTrueshot]

承知いたしました。
ありがとうございます！