python3 webスクレイピング raise exceptions.RoboError('No state') robobrowser.exceptions.RoboError:のエラー解決

Question

やりたいこと
pythonを使って、アマゾンの注文歴を取得したい

エラー内容

Traceback (most recent call last):
  File "google2.py", line 30, in <module>
    assert '注文履歴' in browser.parsed.title.string
  File "/Users/kitaokeita/Desktop/python2/venv/lib/python3.7/site-packages/robobrowser/browser.py", line 138, in parsed
    return self.state.parsed
  File "/Users/kitaokeita/Desktop/python2/venv/lib/python3.7/site-packages/robobrowser/browser.py", line 122, in state
    raise exceptions.RoboError('No state')
robobrowser.exceptions.RoboError: No state
ERROR: exit status 1

自分が考えていること
・アマゾンにサインインができていない状況
・

環境
python3.7
venv環境

import sys
import os

from robobrowser import RoboBrowser

AMAZON_EMAIL = os.environ['AMAZON_EMAIL']
AMAZON_PASSWORD = os.environ['AMAZON_PASSWORD']

browser = RoboBrowser(
parser='html.parser',
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/604.4.7 (KHTML, like Gecko) Version/11.0.2 Safari/604.4.7')

def main():
    print('Navigating...',file=sys.stderr)
    browser.open('https://www.amazon.co,jp/gp/css/order-history')

    assert 'Amazonnサインイン' in browser.parsed.title.string

    form = browser.get_form(attrs={'name': 'signIn'})
    form['email'] = AMAZON_EMAIL
    form['password'] = AMAZON_PASSWORD

    print('signIn in ...', file=sys.stderr)
    browser.submit_form(form,headers={
       'Referer': browser.url,
       'Accept-Language': 'ja,en-US;q=0.7,en;q=0.3',
    })

while True:
    assert '注文履歴' in browser.parsed.title.string

    print_order_history()

    link_to_next = browser.get_link('次へ')
    if not link_to_next:
      break

    print('Following link to next page...', file=sys.stderr)
    browser.following_link(link_to_next)

def print_order_history():
   for line_item in browser.select('.order-info'):
       order = {}

       for column in line_item.select('.a-count'):
        label_element = column.select_one('.label')
        value_element = column.select_one('.value')


        if label_element and value_element:
          label = label_element.get_text().strip()
          value = value_element.get_text().strip()

          order[label] = value

       print(order['注文日'],order['合計'])
if __name__ == '__main__':
    main()

.env

AMAZON_EMAIL=<実際のメールアドレス記載>
AMAZON_PASSWORD=<実際のパスワード記載>

Answer 1

これ自分も試したのですが、
Navigating...
Signing in...
Traceback (most recent call last):
File "/Users/shiikaikenji/CrawlingScraping/5-4_amazon_associates/amazon_order_history.py", line 78, in <module>
main()
File "/Users/shiikaikenji/CrawlingScraping/5-4_amazon_associates/amazon_order_history.py", line 45, in main
assert '注文履歴' in browser.parsed.title.string # 注文履歴画面が表示されていることを確認する。
AssertionError
ERROR: exit status 1

ログインまではいけたと思うのですが、注文履歴の画面にいけませんでした。

本の発行元に問い合わせたところ

こちらについて、調査したところ著者の手元でもCAPTCHAが表示されることを確認しました。
Amazon側の変更によって表示されるようになったものと思われます。
現状、robobrowserでこのAmazon側の変更に対応するのは難しいという見立てです。

恐縮ですが、コードを参考にしつつ
5.6節で解説しているSeleniumなどの代替手段をお使いください。

とのことです。

Comments

[hayabusakk]

ありがとうございます。