[Go(golang)] ファイル末尾から1行ずつ読み込みたい

Question

Go言語でログファイルなど、ファイル末尾から1行読み込んで順次処理を行いたいのですが、これは自前で実装するしかないのでしょうか？

もし簡単な方法がありましたら教えて下さい。宜しくお願いします。

Answer 1

このようなことを昔やろうとしていたのですが、OSSにしていなかったので先程OSSにしておきました。
https://github.com/pyama86/ptail

Comments

[退会済みユーザー]

おお、便利そうだ！回答ありがとうございます。

Answer 2

単純に行単位で読み切って逆順で表示するだけです。

package main

import (
	"bufio"
	"fmt"
	"log"
	"os"
)

func main() {
	fp, err := os.Open("log.txt")
	if err != nil {
		log.Fatalln(err)
	}
	defer fp.Close()
	scanner := bufio.NewScanner(fp)
	lines := []string{}
	for scanner.Scan() {
		lines = append(lines, scanner.Text())
	}
	for i := range lines {
		fmt.Println(lines[len(lines)-i-1])
	}
}

ただこれを巨大なログファイルなどに適用するとメモリが大変なことになります。

• fp.Stat()でえられるファイルサイズ分
• io.Seekableなfp.Seekでシークしながら
• ファイルを読みつつ改行を探す

package main

import (
	"fmt"
	"io"
	"log"
	"os"
)

func main() {
	fp, err := os.Open("log.txt")
	if err != nil {
		log.Fatalln(err)
	}
	defer fp.Close()
	info, err := fp.Stat()
	if err != nil {
		log.Fatalln(err)
	}
	pos := info.Size()
	line := ""
	for pos > 0 {
		b := []byte{0}
		_, err := fp.Seek(pos-1, os.SEEK_SET)
		if err != nil {
			log.Fatalln(err)
		}
		sz, err := fp.Read(b)
		if err != nil {
			if err != io.EOF {
				log.Fatalln(err)
			}
		}
		if sz > 0 {
			if b[0] == '\n' {
				if len(line) > 0 {
					fmt.Println(line)
					line = ""
				}
			} else {
				line = string(b) + line
			}
			pos--
		}
	}
	if len(line) > 0 {
		fmt.Println(line)
	}
}

しかし、この方法もシステムコールの発行回数が多く、
巨大なファイルの場合に効率がよくありません。
チャンク（かたまり）サイズ毎に逆順に読んで、
チャンクごとにうまく改行単位の切り出しをすると良いでしょう。
参考実装はtacというLinuxのコマンドラインツールを参考に。
（もしくはtacコマンドを子プロセスとして呼ぶ手もあります）

Comments

[nobonobo]

ちなみにtacは8KBセグメントを１チャンクとして扱うみたい。

[退会済みユーザー]

思ったより結構手間がかかるものなんですね。
回答有り難うございます。参考にさせて頂きます。

[nobonobo]

システム（OS）が、順読みしか支援してくれないので、、、。この課題はどの言語でもややこしくなります。