Pythonのrequestsでレスポンスを分割して取得したい

Question

あるコンテストでTwitterデータの分析をするのですが、主催者から提供されるデータ量が大きく、普通にGETしてファイルに書き込もうとするとメモリ不足で強制終了させられています。
そこでデータを分割して取得したいのですが、何か良い方法はないでしょうか？

Answer 1

https://requests.kennethreitz.org/en/master/user/advanced/#streaming-requests

バイナリなら

https://requests.kennethreitz.org/en/master/api/#requests.Response.iter_content

Comments

[sgeeee]

ありがとうございました！