python 大量テキストファイルを読込み、データ加工をしたい

Question

解決したいこと

• 大量のテキストファイルをメモリーエラーを発生させずに取り込みたい

• データ内の""を取り除きたい

現状のコード

with open('*.txt') as f:
    text = f.read()
text1 = text.replace('"', '')

with open('*.txt', mode = 'w') as f:
    f.write(text2)

データ構造

["000000","0",...]

大量のデータを取り込むと、メモリーエラーが発生してしまい、非常に困っております。
何卒宜しくお願い致します。

追加質問

ファイルの保存先を指定する方法を知りたい

Answer 1

readlinesで１行ずつ読み書きするとよいかと思います。
書き込み先は別ファイルとし、完了後にリネームします。

import os
with open('inp.txt') as fi:
    with open('out.txt', mode = 'w') as fo:
        while True:
            line = fi.readline()
            if not line:
                break
            line = line.replace('"', '')
            fo.write(line)

os.rename('out.txt', 'inp.txt')

Comments

[退会済みユーザー]

can様

いつもご回答くださり、誠にありがとうございます。
記載いただきました、内容で希望通りのファイルが作成できました。

質問内容とは少し異なりますが、　'out.txt'　の保存先を指定することは可能でしょうか。
何卒宜しくお願い致します。

今回の質問とは少しずれるのですが、

[can110]

「保存先を指定」というのがちょっとよく分かりませんが
たとえば'./hoge/out.txt'とすればカレントディレクトリにあるhogeディレクトリ内に保存できます。

[退会済みユーザー]

with open('C:\Users/out.txt', mode = 'w') as fo:

こちらで書き込み先の設定ができました。
丁寧なご回答ありがとうございます。