Pythonのrequestsを使った際のStreamConsumedErrorの解決方法

Question

APIにGETリクエストを送り、レスポンスを100万行ごとにファイルに書き込むプログラムを書いたのですが、表記のエラーが出てしまい、解決できません。何か解決方法があれば教えていただきたいです。
＜エラー本文＞
StreamConsumedError Traceback (most recent call last)
<ipython-input-10-8637554a74a9> in <module>
3 decoded_lines = ''
4 with open(path.format(i), 'w') as f:
----> 5 for line in r.iter_lines():
6 count += 1
7 if count == i * 1000000:

~/opt/anaconda3/lib/python3.7/site-packages/requests/models.py in iter_lines(self, chunk_size, decode_unicode, delimiter)
792 pending = None
793
--> 794 for chunk in self.iter_content(chunk_size=chunk_size, decode_unicode=decode_unicode):
795
796 if pending is not None:

~/opt/anaconda3/lib/python3.7/site-packages/requests/models.py in iter_content(self, chunk_size, decode_unicode)
767
768 if self._content_consumed and isinstance(self._content, bool):
--> 769 raise StreamConsumedError()
770 elif chunk_size is not None and not isinstance(chunk_size, int):
771 raise TypeError("chunk_size must be an int, it is instead a %s." % type(chunk_size))

StreamConsumedError:

base = 'https://api.nazuki-oto.com/historical/tweets?type=stream&estid={}'
endpoint = 'kargrNyc'
header = {'Accept-Encoding' : 'deflate, gzip'}
url = base.format(endpoint)
s = requests.Session()
r = s.get(url, auth=('id', 'pass'), headers = header, stream=True)

for i in range(1, 7):
    count = 0
    decoded_lines = ''
    with open(path.format(i), 'w') as f:
        for line in r.iter_lines():
            count += 1
            if count == i * 1000000:
                decoded_lines += line.decode('utf-8')
                break
            elif count > (i - 1) * 1000000:
                decoded_lines += line.decode('utf-8') + '\n'
            else:
                pass
        f.write(decoded_lines)

Comments

[退会済みユーザー]

個人的にこの手の質問には答えないのですが、回答がついてしまっているので、仕方なく少し解説します。

1行ずつ処理を追っていくと分かると思いますが、
for line in r.iter_lines():
でGETでリクエストしたものを1行ずつ読んでますよね？
GETでリクエストしたものを全行読み切ったらこのループを抜けてf.write(decoded_lines)するわけですが、その後１つ上のループfor i in range(1, 7):で、もう一度
for line in r.iter_lines():
に突入します。でも、rはすでに全部読み切っているので、ここではエラーが起きちゃいませんか？

私に言えるのはここまでです。後は自力でお願いします。

[sgeeee]

全行読み取る前に、if文の条件に引っかかってbreakするのでそうはならないと思うのですが…
他の方のアドバイスで解決できました。ご回答ありがとうございます。

[退会済みユーザー]

あ、breakしてたんですね。ごめんなさい。
実行方法の問題だったってことですね。何にせよ解決出来てよかったです笑

Answer 1

Stream が Consumed だという Error なので、もう残りデータがないということでは？

Comments

[sgeeee]

Jupyter Notebook上で動かしていたのですが、リスタートしたら解決できました！
ありがとうございます。