pandasにおける巨大dataframeの末行読み込みについて

Question

pandasにおいて，数十GBのデータ(.txt)の末行のみを利用したいです．
readtableで全て読み込んだ後.tailで末行を取得すれば可能ですが，メモリ使用量が膨大になってしまうので避けたいです．また，skiprowsなどで指定行のみ読み込むことも考えましたが，読み込むデータによって行数がまちまちであり，指定行のindexを得るためにlenなどで読み込むデータの行数を取得するとしても，結局データを全て読み込む事になりメモリを消費してしまうので本末転倒になってしまいます．

サイズの異なるデータにおいても柔軟に末行のみを読み込む方法があれば教えていただきたいです．

Comments

[meg_]

ターミナルにてコマンドで処理すれば良さそうです。※OSが不明なので具体的な方法は自身でお調べください。

Answer 1

Daskを使う方法です。最後の数行だけならたぶん一瞬です。
dask.dataframe.DataFrame.tail() — Dask documentation
（Daskをインストールしていない場合はインストールする必要があります）

import dask.dataframe as dd

df = dd.read_csv('data.txt').tail(1)

Answer 2

「tail -1 対象ファイル」を実行した結果を使うのが楽じゃないかな。
パイプで接続してinput()で読んでもいいし、subprocessモジュールを使ってもいい。

Windowsでは、WSLやMinGWなどでtailコマンドを使えるようにしてください。

Answer 3

巨大なテキストファイルの末尾だけが欲しいならシークポインタを使うのがいいように思います。

以下のサイトを参考に関数にまとめてみました。

What is the most efficient way to get first and last line of a text file?

def get_last_line(fname):
    with open(fname, 'rb') as f:
        offset = -500

        while True:
            f.seek(offset, 2)
            lines = f.readlines()
            if len(lines) > 1:
                last_line = lines[-1]
                break
            offset *= 2

    return last_line.decode('utf8') # ファイル形式は適宜変更してください

last_line = get_last_line(r'D:\WorkShop\Temp\test.txt')
print(last_line)

Answer 4

同様の質問を見つけました。
テキストファイルの最後の行を効率的に見つける
（手元にそんな大きなテキストデータがないもので、試していません）