BeautifulSoupで「not readable」というエラーが出ます

Question

前提・実現したいこと

プログラミング初心者です。国会会議録検索システムのAPIを利用し、年ごとに特定のキーワードで検索結果を取得し、ファイルに書き込みたいと考えています。しかし、同APIには「一度に取得できる発言（speech）の上限は100件」という制限があります。

100件までの発言をファイルに書き込むことには成功したのですが、その上限を超えて取得するには「nextRecordPosition」というパラメータで次開始位置を利用する必要があるようです。この部分を付け加えたところ、エラーが出てしまいました。

発生している問題・エラーメッセージ

次のようなエラーが出ています。

UnsupportedOperation                      Traceback (most recent call last)
<ipython-input-13-4bc2addc6e26> in <module>()
      9     f = open('./thesis/sr'+ str(i) +'.txt', 'w', encoding="utf-8")
     10     f.write(req.text)
---> 11     soup = BeautifulSoup(f, 'lxml')
     12     if soup.find('nextRecordPosition') == True:
     13         url = 'http://kokkai.ndl.go.jp/api/1.0/speech?nextRecordPosition%26101        ?maximumRecords\%3D100\%26any%3D自己責任%26from%3D' + str(i) +'-01-01%26        until%3D' + str(i) + '-12-31'

~\Anaconda3\lib\site-packages\bs4\__init__.py in __init__(self, markup, features, builder, parse_only, from_encoding, exclude_encodings, **kwargs)
    243 
    244         if hasattr(markup, 'read'):        # It's a file-type object.
--> 245             markup = markup.read()
    246         elif len(markup) <= 256 and (
    247                 (isinstance(markup, bytes) and not b'<' in markup)

UnsupportedOperation: not readable

該当のソースコード

（1）100件までの発言（speech）の検索結果を取得し、ファイルに書き込む
（2）100件までの発言を超えている（nextRecordPositionというタグがある）場合、該当ファイルに追記する

という2段構えでやろうとして失敗しています。

#「自己責任」というキーワードを含む発言を年ごとに取得し、
#ファイルに保存するプログラム（対象期間は1945年から2019年）

import requests
from bs4 import BeautifulSoup

#（1）100件までの発言（speech）の検索結果を取得し、ファイルに書き込む
for i in range(1945, 2019+1):
    url = 'http://kokkai.ndl.go.jp/api/1.0/speech?maximumRecords\%3D100\
    %26any%3D自己責任%26from%3D' + str(i) +'-01-01%26until%3D' + str(i) + '-12-31' 
    req = requests.get(url)
    f = open('./thesis/sr'+ str(i) +'.txt', 'w', encoding="utf-8")
    f.write(req.text)
    soup = BeautifulSoup(f, 'lxml')
    temp = soup.find('nextRecordPosition')
#（2）100件までの発言を超えている（nextRecordPositionというタグがある）場合、該当ファイルに追記する
    if  temp == True:
        url = 'http://kokkai.ndl.go.jp/api/1.0/speech?nextRecordPosition%26101\
        ?maximumRecords\%3D100\%26any%3D自己責任%26from%3D' + str(i) +'-01-01%26\
        until%3D' + str(i) + '-12-31' 
        req = requests.get(url)
        f = open('./thesis/sr'+ str(i) +'.txt', 'a', encoding="utf-8")
        f.write(req.text)
    else:
        break

試したこと

BeautifulSoupのところでエラーが出ているため、パーサをほかのもの（html.parser）に変えてみましたが、同様のエラーが出ました。

補足情報（FW/ツールのバージョンなど）

自分で気になっているのは、上記コードの次の部分です。

    temp = soup.find('nextRecordPosition')
    if  temp == True:

APIの仕様によると、発言件数が100件内に収まっている場合、「nextRecordPosition」というタグは表示されません。そこで「nextRecordPositionが見つかった場合、実行する」というif文を書きたいのですが、どう書くべきか迷ってこのようになりました。しかし、違うのでは、と……。

なお、国会会議録検索システムのAPIの仕様は以下にまとまっています。
http://kokkai.ndl.go.jp/api.html

自力ではここまでが精一杯でした。みなさまのお知恵を拝借できれば幸いです。

Answer 1

BeautifulSoup コンストラクタの第 1 引数は、対象のファイルではなく文字列を渡す必要があります。

soup = BeautifulSoup(req.text, 'lxml')

Comments

[fujiko20]

nskydivingさま、ご指摘感謝です！　今後は気をつけていきます。教えていただいたとおりの記述にしてみたところ、次のようなエラーメッセージが出てしまいました。

AttributeError: '_io.TextIOWrapper' object has no attribute 'text'

もし原因を教えていただけるようでしたら、たいへんうれしいです。

[fujiko20]

おかげさまでこの件は解決できました。ありがとうございます！　しかし、やはり100件を超えているかどうかを判断する条件の設定がおかしいようで、100件以上はデータが取得できていない状況です。現段階では、上のとおりのコードとなっています。もしまたお力をお借りできるようでしたら、非常に助かります。

[nskydiving]

「総結果件数」「返戻件数」「次開始位置」が取得できるようなので、これらを使ってページごとにデータを取得できそうです。

また、1つの投稿で複数の質問は推奨されませんので、他の質問がある場合は、一旦この質問を「解決済み」にした後、新たに質問を投稿してください。

[fujiko20]

質問に対してご教示くださり、ありがとうございます。そして、teratailの推奨ルールを破った点についても、ご指摘感謝いたします。使い方に慣れておらず、「一つの項目にまとめたほうがよい」と無意識のうちに思い込んでいました。今後は改めてまいります。

Answer 2

上記エラー（AttributeError: '_io.TextIOWrapper' object has no attribute 'text'）については解決しました。ファイルを開くべきところでそうせず、処理を進めていたことが原因でした。（2）の部分の処理を変えています。ただし、やはり100件を超える発言は取得できない状況です。条件に関する記述に問題があるものと睨んでいます。

#「自己責任」というキーワードを含む発言を年ごとに取得し、ファイルに保存するプログラム（対象期間は1945年から2019年）
#デフォルトでとれる発言単位が100までなので、それを超えた場合の処理を書く

import requests
from bs4 import BeautifulSoup

#（1）100件までの発言（speech）の検索結果を取得し、ファイルに書き込む
for i in range(1945, 2019+1):
    url = 'http://kokkai.ndl.go.jp/api/1.0/speech?maximumRecords%3D100%26any%3D自己責任%26from%3D' + str(i) +'-01-01%26until%3D' + str(i) + '-12-31' 
    req = requests.get(url)
    f = open('./thesis/sr'+ str(i) +'.txt', 'w', encoding="utf-8")
    f.write(req.text)

#（2）100件までの発言を超えている（nextRecordPositionというタグがある）場合、該当ファイルに追記する
for i in range(1945, 2019+1):
    with open('./thesis/sr'+ str(i) +'.txt', 'r', encoding="utf-8-sig") as fr:
        soup = BeautifulSoup(fr.text, 'lxml')
        temp = soup.find('nextRecordPosition')
        if  temp == True:
            url = 'http://kokkai.ndl.go.jp/api/1.0/speech?nextRecordPosition%26101?maximumRecords\%3D100\%26any%3D自己責任%26from%3D' + str(i) +'-01-01%26\
            until%3D' + str(i) + '-12-31' 
            req = requests.get(url)
            f = open('./thesis/sr'+ str(i) +'.txt', 'a', encoding="utf-8")
            f.write(req.text)
        else:
            break