python with open などのファイル操作について

基本的な質問なのかもしれませんが、pythonなどのプログラムでファイルを操作する場合について教えてください。

例えば、/home/test/hogehoge.txt を
with onen('/home/test/hogehoge.txt') as f:で読み込んだ場合は
直接操作する？ことになるのでしょうか？

よく書籍だとopen()だけだと、xxx.close() で閉じないとメモリに残り続けるから云々ってかいてあるので
一旦メモリ上に展開して、プログラムで処理が完了次第、データを保存してメモリを開放するみたいな動作になるんでしょうか？

そうであった場合に、/home/test/hogehoge.txt　が1GBくらいの大きさで会った場合はメモリ数が足りなければ
エラーになるのか、それとも加工するデータ分だけメモリ数が残っていればいいのか気になりました。

よろしくおねがいいたします。

行動規範の内容に同意します

回答3件

質問自体の内容については、「そうならないよう自分で考えて処理する」としか回答できませんが、ちょっと別の点で気になったので。

よく書籍だとopen()だけだと、xxx.close() で閉じないとメモリに残り続けるから云々ってかいてあるので

と、

一旦メモリ上に展開して、プログラムで処理が完了次第、データを保存してメモリを開放するみたいな動作になるんでしょうか？

は別の話です。

同時にファイルをオープンできる数は、OSによって制限があります。

ファイルディスクリプタって何？仕組みとWindowsのC言語、Linuxでの上限

ですから、「closeしないとメモリに残り続ける」という言い方は、うーん、ちょっと違うんじゃないかな、でも初心者にはそう説明しても仕方ないかな、という感じがします。
openしたままcloseしないと、メモリ自体は残るというのは厳密にいうと間違いじゃないと思うけど微々たるもので、それよりも上記の制限に引っかかる事の方が重要でしょう。

まぁもっとも、ファイルディスクリプタもメモリもプログラムからすればOSからの借用物であり、借りた物はしっかり返さなきゃいけないというのはどちらも同じ事だと思います。

投稿2020/05/09 08:13

編集2020/05/09 08:17

katsuko

総合スコア3538

ベストアンサー

たとえば

python
1with onen('/home/test/hogehoge.txt') as f:
2    pass

であれば一行も読まれず、（ファイルの中身を展開することで）メモリを消費することもありません。

実際はf.read()などで「ファイルを読む」ことでファイルの中身がPython文字列とかとして読み込まれ、そこで初めてメモリ上に展開される訳です。柔軟に制御できるよう、曲りなりに色々なメソッドが用意されています（たとえば一行読んで返すreadlineなど）。大きなファイルの場合は、それらをうまく使って「メモリが溢れないように」プログラムを書くことが可能です。

詳細はリファレンスで確認してください。

io --- ストリームを扱うコアツール — Python 3.8.3rc1 ドキュメント

また、with文は自動で適切にリソース解放の処理を行うので、closeを呼ぶ必要はこの場合ありません。

投稿2020/05/09 12:13