pandasで10GBのファイルを読み込みたい

Question

10GB程度のテキストファイルをpandasで読み取りたいです。
以下のように書いたのですが、エラーが出てしまいます。

import csv
import pandas as pd
from pandas import Series

listA = ["A1", "A2", "A3", "A5", "A8"]
listB = ["B2", "B3", "B4", "B5", "B6"]
def preprocess(x):
    x = x[x['vA'].isin(listA)]
    x = x[x['vB'].isin(listB)]
    return x
reader = pd.read_csv(filepath_or_buffer = "~/bigDataDB.txt", encoding="ms932", sep="\t", dtype={0: str} , chunksize=20000, skiprows=164, low_memory = False)
mylist = []
for r in reader:
    mylist.append(preprocess(r))
df = pd.concat(mylist, axis=0)
print(df)

ParserError                               Traceback (most recent call last)
<ipython-input-2-f831367281dd> in <module>

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in __next__(self)

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in get_chunk(self, size)

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)

~/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()

ParserError: Error tokenizing data. C error: out of memory

他にエラー"low_memory = False"を削除したり、mylistにappendせず直接結合したりもしましたが、駄目でした。

df = pd.concat((preprocess(r) for r in reader), ignore_index=True)

目盛自体はfreeが101 GBあるので足りるものと思っているのですが。

Comments

[退会済みユーザー]

「pandas メモリに乗らない」で検索すると吉

[i113]

どうも有り難うございます。
お恥ずかしながら、その辺りを一通り読んだ上でできたのが上記のコードなんですよね。

[dameo]

20000行ごとをもう少し減らせば動くのかもしれませんが、101GBで足りないのも変な気がします。
anacondaのipythonを使ってるようですが、こちらは32bitだったりしませんか？
conda info

[i113]

列をいくつか削ったら動きました。単純なメモリ不足のようです。

Answer 1

列をいくつか削ったら動きました。単純なメモリ不足のようです。