[go] utf8からsjisへの変換で"rune not supported by encoding"エラー

Question

問題

GoでSJISでCSVを書き出す際に"rune not supported by encoding"というエラーが発生して、CSVが正常に出力されない。

環境

go version go1.9.2 windows/amd64

コード

package main

import (
	"encoding/csv"
	"fmt"
	"log"
	"os"

	"golang.org/x/text/encoding/japanese"
	"golang.org/x/text/transform"
)

const (
	NO_BREAK_SPACE  = "\u00A0"
	WAVE_DASH       = "\u301C"
)

func main() {
	file, err := os.Create("out.csv")
	if err != nil {
		log.Fatal(err)
		panic(err)
	}
	defer file.Close()

	writer := csv.NewWriter(transform.NewWriter(file, japanese.ShiftJIS.NewEncoder()))
	writer.UseCRLF = true

	header := []string{
		"header1",
		"header2",
	}
	body := []string{
		fmt.Sprintf("あ%sい", utils.NO_BREAK_SPACE),
		fmt.Sprintf("十時 %s 十二時", utils.WAVE_DASH),
	}

	err = writer.Write(header)
	if err != nil {
		log.Println(err)
	}

	err = writer.Write(body)
	if err != nil {
		log.Println(err)
	}

	writer.Flush()
	err = writer.Error()
	if err != nil {
		log.Println(err) // encoding: rune not supported by encoding.
	}
}

出力されるCSV

sjisで以下のように出力されます

header1,header2
あ

質問

上記の現象はUTF8には存在するがSJISに存在しない文字を変換した際に起こるものだと思っています。

func main() {
	iostr := strings.NewReader(WAVE_DASH)
	rio := transform.NewReader(iostr, japanese.ShiftJIS.NewEncoder())
	ret, err := ioutil.ReadAll(rio)
	log.Println(ret) // []
	log.Println(err) // encoding: rune not supported by encoding.
}

SJISに変換する前にSJISに存在しない文字は?に置換するというのが一般的な方法だと思うのですが、nkfやiconvなどを使用せずにgoの標準ライブラリのみで対応できるのでしょうか？

よろしくお願いいたします。

Answer 1

変換できない文字を ? で描き直す Writer で wrap してあげれば良いかと思います。

package main

import (
	"encoding/csv"
	"fmt"
	"io"
	"log"
	"os"
	"unicode/utf8"

	"golang.org/x/text/encoding/japanese"
	"golang.org/x/text/transform"
)

const (
	NO_BREAK_SPACE = "\u00A0"
	WAVE_DASH      = "\u301C"
)

type runeWriter struct {
	w io.Writer
}

func (rw *runeWriter) Write(b []byte) (int, error) {
	var err error
	l := 0

loop:
	for len(b) > 0 {
		_, n := utf8.DecodeRune(b)
		if n == 0 {
			break loop
		}
		_, err = rw.w.Write(b[:n])
		if err != nil {
			_, err = rw.w.Write([]byte{'?'})
			if err != nil {
				break loop
			}
		}
		l += n
		b = b[n:]
	}
	return l, err
}

func main() {
	file, err := os.Create("out.csv")
	if err != nil {
		log.Fatal(err)
		panic(err)
	}
	defer file.Close()

	writer := csv.NewWriter(
		&runeWriter{transform.NewWriter(file, japanese.ShiftJIS.NewEncoder())})
	writer.UseCRLF = true

	header := []string{
		"header1",
		"header2",
	}
	body := []string{
		fmt.Sprintf("あ%sい", NO_BREAK_SPACE),
		fmt.Sprintf("十時 %s 十二時", WAVE_DASH),
	}

	err = writer.Write(header)
	if err != nil {
		log.Fatal(err)
	}

	err = writer.Write(body)
	if err != nil {
		log.Fatal(err)
	}

	writer.Flush()
	err = writer.Error()
	if err != nil {
		log.Fatal(err) // encoding: rune not supported by encoding.
	}
}

Comments

[退会済みユーザー]

mattnさんありがとうございました！

なるほどGoではこのように対応できるのですね。
Rubyのようにライブラリや言語がたくさんの機能を持つのではなく、
自分でカスタマイズして使っていくという点がGoらしさなのかなと印象を受けました。

ありがとうございます、勉強になりました。