Beautiful Soupでのスクレイピングがうまくできない

Question

#２点問題がありますアドバイスをいただけると助かります

#やろうとしていること
楽天で検索をかけたときに表示される上位10位の店舗名を取得し表にして表示したい。（Djangoで開発しています。）
#環境
・python 3.8.0a1
・Django 2.2
#問題① スクレイピングした内容をfor文でリストにして、HTMLファイルに渡すとうまく表示してくれない(リストにせずにHTMLファイルに渡すと上手く表示してくれる。）

def ad_ranking(request):
    url = "https://search.rakuten.co.jp/search/mall/%E3%83%94%E3%82%A2%E3%82%B9/?f=1&grp=product"
    headers={"User-Agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) > > AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",}
    html = requests.get(url=url, headers=headers)
    soup = BeautifulSoup(html.content, "html.parser")
    shopName = []

    for doc in soup.find_all(class_=("item _rightfloated"), limit=5):
        shopName.append(doc)

    test = soup.find_all(class_=("item _rightfloated"), limit=1)
    test2 = soup.find_all(class_=("item _rightfloated"), limit=2)

    dic = {
        'document':shopName[1],
        'document2':shopName[2],
        'document3':shopName[3],
        'test':test,
        'test2':test2,
    }
    return render(request, 'rakutencpc/ad_ranking.html', dic)

↓ブラウザ(表示結果）
[]
[]
[]
[<div class="item _rightfloated"> aaa </div>]　←リストにせずに渡したぶんは上手く表示してくれます

[<div class="item _rightfloated"> aaa </div>, <div class="item _rightfloated"> xxx </div>]　←リストにせずに渡したぶんは上手く表示してくれます（問題②にも繋がりますが、この"aaa","xxx"といった部分を抽出したいのですが、これも上手くいきません…

#問題②　beautiful soupで一度find_all()などの関数を使ったテキストをさらにfind()などの関数を使うとエラーになる

test3 = soup.find_all('a')
    test3 = soup.find_all('div')

↓エラーメッセージ
AttributeError at /ad_ranking/
ResultSet object has no attribute 'find_all'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?

以上が抱えている問題です。
拙い文章でわかりにくいかもしれませんが、
ご助言いただけれると助かります。
よろしくお願いいたします。
なお、楽天apiも検討しましたがapiでは取得できない箇所もございましたので、上記についてアドバイスいただけると幸いです。

Comments

[mistn]

楽天には各種apiが用意されているのですが、それを使わずにスクレイピングをしているのには何か理由がありますか？
大抵はapiを使ったほうが楽だと思いますよ。
もしかしたらapiでは実現できないことなのかもしれませんが。

[e.senaha]

その通りなんです。
apiが使えると楽だと思うのですが、
今取得しようとしている箇所は広告枠も含むためapiでは取得できないとのことでした。

[mistn]

そうでしたか。それは仕方ないですね。
それと、コード部分は'(シングルクォート)ではなく`(バッククォート)で囲まないとコード表示になりません。プログラムの部分をドラッグして<code>ボタンを押すと楽です。

Answer 1

エラー文と型名の通りですね
find_all()で返還されるbs4.element.ResultSet(List型)の配列を
単一な変数として使用しているからです
複数を意図していないならfind()を使い、しているのならばforで回してappendしてください
日本語版もあるので手っ取り早くリファレンスを読むのが一番かと
また、for文elseの仕様も読まれた方が良いと思います

Comments

[e.senaha]

ありがとうございます。
ご指摘の通り、配列を単一に扱っていたのが問題でした。
おかげさまで解決して、とても捗ってます。
助かりました。ありがとうございました。