python pandasでのskiprowsの取り扱いについて

Question

pythonのpandasデータフレームの読み込みについて，nの倍数行目のみ読み込みたいのですが，skiprowsなどで読み込む方法が思いつきません．
lambda表記でスキップする行目のリストを作ることを考えたのですが，読み込む元のファイルがの行数が一定でなく，またRAMに乗らないほど大きなサイズで総行数を確認できないので，読み込みファイルのサイズに依存しない書き方があればご教授いただきたいです．

Answer 1

read_csv()でchunksizeを指定して読み込み必要なデータ(行)を抽出すれば良いかと思います。

【Pandas、簡単サンプル】巨大なデータを部分的に読み込むためのchunksizeについてのメモ

Answer 2

スキップする部分を別プロセスにすれば読み込みが終わった段階でサブプロセスは終了するので、Python側のメモリ消費は最小限で済みます。

以下はLinuxでのサンプルプルグラムです。

$ cat test_csv.py
from subprocess import Popen, PIPE
import pandas as pd

with Popen(["awk", "(NR%3==1){print}", "input.csv"], stdout=PIPE, text=True) as proc:
    df = pd.read_csv(proc.stdout)

print(df)

入力データは以下です。

$ cat input.csv
index,data,TYPE
line0,123,TYPE_A
line1,234,TYPE_B
line2,345,TYPE_C
line3,456,TYPE_D
line4,567,TYPE_E
line5,678,TYPE_F
line6,789,TYPE_G
line7,890,TYPE_H
line8,901,TYPE_I
line9,999,TYPE_J

実行結果は以下です。

$ python test_csv.py
   index  data    TYPE
0  line2   345  TYPE_C
1  line5   678  TYPE_F
2  line8   901  TYPE_I

他のOSでもawkが動くならほぼ同じコードで動作します