アマゾンの検索ページトップのカテゴリー項目を取得したく思います。
こちらでソースコードは作成したのですが、10回に6回程度すべての選択肢を取得するのに失敗します。
45項目くらいあるのですが、ときどき44項目しか取得できないときがあります。
ソースコードは以下です。(※importライブラリーは省略させていただきます)
zz = "https://www.amazon.co.jp/" req = urllib.request.Request(zz) res = urllib.request.urlopen(zz) time.sleep(10) soup = BeautifulSoup(res, "lxml") time.sleep(5) cc = soup.find_all('select',class_='nav-search-dropdown searchSelect') for link_c in cc: dd=link_c.text dd=dd.splitlines() print(dd) dd = [x for x in dd if x] string = ",".join(dd) string=string.replace("\xa0","") #空白を除去するため string=string.split(",")
待機時間の問題かと思ったのですが、10秒にしても、15秒にしてもすべて取得できないときがあります。
なぜ、このようなことが起こるのか、またより良いコードがありましたらご教示いただけないでしょうか。
宜しくお願いいたします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/04/30 15:13
2019/04/30 15:20
2019/04/30 16:35