大容量csvから指定した行だけpandasでデータフレームに読み込むみたい。

Question

大容量CSVをどうしてもpandasで処理したくて、
最初の行から分割して読み込み、処理済みのcsvファイルに追記するコードを作成しています。

下記コードを作成しましたが、結果は３行のデータファイルができるだけです。
予定では３００行のデータファイルができるはずだったのですが・・・

どこに問題があるのか　または　もっと良い方法があればアドバイスをお願いします。

import numpy as np
import pandas as pd

files1 = "./big_data.csv"
files2 = "./test.csv"

df= pd.read_csv(files1,skiprows=lambda x: x not in [0,100])
df.to_csv(files2,header=True)

df= pd.read_csv(files1,skiprows=lambda x: x not in [101,200])
df.to_csv(files2,mode='a', header=False)

df= pd.read_csv(files1,skiprows=lambda x: x not in [201,300])
df.to_csv(files2,mode='a', header=False)

Comments

[takasima20]

元ファイルを 100 行づつに分割した方がはやいんじゃ? ちなみに skiprows は先頭から指定された分読み飛ばすオプションみたいス。

Answer 1

リスト[0, 100]には、「0から100まで」みたいな意味はありません。「要素0と100を持つリスト」です。

lambda x: x not in [0, 100]は、「xの値が0か100でなければTrue」になるので、skiprowsにこれを指定すると、(0オリジンで数えて)0行目(先頭)と100行目以外は読み飛ばされて、その結果「0行目と100行目だけ読み込まれる」ことになります。

意図しているのは、「0行目から100行目まで読み込む(それ以外は読み飛ばす)」ことですよね。それならば、range()を使って、lambda x: x not in range(0, 101)としてください(rangeの第2引数には、最終値+1を指定する必要があります)。

なお、list(range(0, 101))としてわざわざ0から100までのリストを作る必要はありません。range型のままでinが使えます。

Answer 2

skiprowsのlambdaのnot inで抽出してくれるのは指定したリストの一つ一つの要素なので、
そのように指定しても範囲では取得してくれません。
なのでrangeを利用して範囲の全要素をもつリストを作成すればいいです。

import pandas as pd

files1 = "./data/big_data.csv"
files2 = "./data/test.csv"

df= pd.read_csv(files1,header=None,skiprows=lambda x: x not in range(0,101))
df.to_csv(files2,header=True)

df= pd.read_csv(files1,header=None,skiprows=lambda x: x not in range(101,201))
df.to_csv(files2,mode='a', header=False)

df= pd.read_csv(files1,header=None,skiprows=lambda x: x not in range(201,301))
df.to_csv(files2,mode='a', header=False)

Comments

[Daregada]

(0オリジンで)100行目と200行目が読み込まれないのでは。
↓
修正された。

[yureighost]

Daregadaさん
確かにその通りですね。
元のだと100行目や200行目が読み込めていませんでした。
元のソースの値をそのまま利用していてよく確認していませんでした。
修正しておきました。

icemanstandingさん
元のソースだとその問題がありますので、気を付けてください。