pythonにおけるストリーム処理

Question

def get_s3file(bucket_name, key):
    s3 = boto3.resource('s3')
    s3obj = s3.Object(bucket_name, key).get()

    return io.TextIOWrapper(io.BytesIO(s3obj['Body'].read()))

S3からCSVをオンメモリで読み込む処理です。
なるべくメモリを削減できるようストリームで処理していきたいです。
そのためBytesIOを作成し、TextIOWrapperで文字列ストリームに変換しています。
ここで疑問なのですがBytesIOのインスタンスを生成する際にs3obj['Body'].read()としている時点でオブジェクトはメモリ上に全て展開されてしまっているのでしょうか？
もしそうなら既にメモリ上に展開されているのでその後BytesIO,TextIOWrapperに渡してストリームを生成する必要がないかと思ってきました。

引用元:https://qiita.com/shinsaka/items/9b9fbd4d3ba1b5e59bce

Answer 1

• 既にメモリ上に展開されているのでその後BytesIO,TextIOWrapperに渡してストリームを生成する必要がないかと思ってきました。

そのとおりです。

Pythonでは、関数などを呼び出す前にすべての引数を評価してから評価結果を関数に渡します。
評価とは式を実行してその結果を得ることです。
したがって、BytesIOのインスタンスを生成する前にs3obj['Body'].read()を実行していて、そのタイミングでメモリ上に展開されます。

引数の評価については、公式ドキュメント 6.3.4. 呼び出し (call)に書かれている、以下の部分をお読みください。

引数式は全て、呼び出しを試みる前に評価されます。

Comments

[yonchome]

ありがとうございます。
今回の場合、BytesIO,TextIOWrapperに渡してストリームを生成するメリットや思い当たる理由などは何かあったりしますでしょうか、、？

[yonchome]

思いつきました。
バイトを文字列で扱うためにデコードする。そのままバイトをデコードするとデコード結果全体をメモリに展開することになりますが、文字列ストリームを生成すれば全体をメモリに展開することなく処理できますね。

[ppaul]

メモリ削減という意味では、ガベージコレクションの動きがデータ次第なので、計ってみないとわからないです。
たいていの場合、ガベージコレクションとOSが色々とやってくれているのでメモリ不足で困ることは少ないです。