Pythonでウェブサイトの検索窓に入力し結果を取ってくるコードのfor文に関するエラー

Question

###前提・実現したいこと
以下のサイトにJANコードの値を入力して、検索結果のASINコードをスクレイピングして表示することを実行しようとしています。
検索窓に入力するWebサイト

###発生している問題・エラーメッセージ
以下のコードを実行するとこのようなエラーが表示されており、修正のためのアドバイスをいただけますと幸いです。

$ python trial.py --jan 4901351055618
  File "trial.py", line 30
    for k,v in products.iteritems():
      ^
IndentationError: expected an indented block

###該当のソースコード

#trial.py

###補足情報(言語/FW/ツール等のバージョンなど)
Python 2.7.12

Answer 1

IndentationError: expected an indented blockと書いてありますね。
こう書いてあるんですから、『インデントがおかしいのかな？』とまず疑ってください。

for a in args.jan:
for k,v in products.iteritems():

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。

Answer 2

    products = {}
    for a in args.jan:
    for k,v in products.iteritems():

このコードproductsが空ですが論理的に破綻してませんか？

mainメソッドで複数の処理を行うのではなくメソッドを分けてくださいな。
0. コマンドライン引数で渡されたJanコードをlistとして返す。
0. 引数で渡されたlistを元にスクレイピングを行い結果を返す。
0. 2の結果を表示する。

質問文のコードを改造しました。ご参考まで.

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
import argparse
import codecs
import sys
from contextlib import closing
import pprint

sys.stdout = codecs.getwriter('utf_8')(sys.stdout)
sys.stdin = codecs.getreader('utf_8')(sys.stdin)


class Scraper:
    def __init__(self):
        self.target_url = "https://antlion.xsrv.jp/"
        self.driver = webdriver.PhantomJS()
        self.DELAY_SLEEP = 1  # sec

    def close(self):
        if self.driver is not None:
            self.driver.close()
            self.driver = None

    def scrap(self, jan):
        v = {'jan': jan}
        try:
            self.driver.implicitly_wait(self.DELAY_SLEEP)
            # JAN code
            self.driver.get(self.target_url)
            self.driver.implicitly_wait(self.DELAY_SLEEP)
            elem = self.driver.find_element_by_xpath('//*[@id="content"]/div[1]/div/form/input[2]')
            elem.send_keys(jan)
            elem = self.driver.find_element_by_xpath('//*[@id="content"]/div[1]/div/form/input[3]')
            elem.click()
            elems = self.driver.find_elements_by_xpath('//*[@id="content"]/div[2]/div[5]/ul/li')
            for e in elems:
                desc = e.get_attribute('textContent')
                if desc.startswith("ASIN"):
                    v['asin'] = desc.split()[-1]
        except NoSuchElementException:
            print("not available")
        except Exception as e:
            print(e)

        return v


def get_input(debug=True):
    if debug:
        class MimicArgs:
            def __init__(self):
                self.jan = ['9781449355739', '9784873117584', '9784873112992']
        return MimicArgs()
    parser = argparse.ArgumentParser(description='Get asin from JANJAN_URL')
    parser.add_argument('--jan', nargs='+')
    return parser.parse_args()


def main():
    args = get_input()
    pp = pprint.PrettyPrinter()
    with closing(Scraper()) as sc:
        for jan in args.jan:
            products = sc.scrap(jan)
            pp.pprint(products)


if __name__ == "__main__":
    main()

■謝辞
mkgrei様の回答文のソースコードを参考に致しました。
素晴らしいソースコードありがとうございます。

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。

Answer 3

おそらく書きたいのは以下のものではないでしょうか。

products = {}
for a in args.jan:
    products[a] = {}
    v = products[a]

---

Selenium.webdriverにバグがあってJANコードがあってもたまに取得にミスるみたいですね。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
import argparse

DELAY_SLEEP = 1
JANJAN_URL = "https://antlion.xsrv.jp/"

def get_input(fmimic=True):
    if fmimic:
        class MimicArgs:
            def __init__(self):
                self.jan = [4976219091275, 4873116953, 4873116950000]
        args = MimicArgs()
    else:
        parser = argparse.ArgumentParser(description='Get asin from JANJAN_URL')
        parser.add_argument('--jan', nargs='+')
        args = parser.parse_args()
    return args

def main():
    args = get_input()
    
    driver = webdriver.Chrome()
    
    products = {}
    for jan in args.jan:
        try:
            driver.get(JANJAN_URL)
            jan_input_box = driver.find_element_by_xpath('//*[@id="content"]/div[1]/div/form/input[2]')
            jan_input_box.send_keys(jan)
            jan_input_button = driver.find_element_by_xpath('//*[@id="content"]/div[1]/div/form/input[3]')
            jan_input_button.click()
            
            content = driver.find_elements_by_xpath('//*[@id="content"]/div[2]/div[5]/ul/li')
            if len(content) == 0:
                raise NoSuchElementException
            asin = None
            for e in content:
                desc = e.get_attribute('textContent')
                if desc.startswith("ASIN"):
                    asin = desc.split()[-1]
            if asin is None:
                print('ASIN not found')
            title = driver.find_elements_by_xpath('//*[@id="content"]/div[2]/div[3]/h3/a')[0].text
        except NoSuchElementException:
            print("not available")
            print(jan)
            continue
        products[title] = {}
        v = products[title]
        v['ASIN'] = asin
        v['JAN'] = jan

    for k, v in products.items():
        print(k, v)
    driver.close()

if __name__ == "__main__":
    main()

Comments

[退会済みユーザー]

何度もご回答いただきましてありがとうございました。大変助かりました。
Selenium.webdriverのバグについてもご明記いただきましてありがとうございます。