現在、Pythonのクローリング.スクレイピング用のフレームワークであるscrapyを使用し、インターネットフリーマーケットサイトである「メルカリ」のクローリングとスクレイピングをしています。
そこでキーワードを入力した検索結果の画面で商品名を取得するため、scrapy shellを使い、検索結果ページから商品名、値段、画像を取得しようとしているのですが、商品名の取得がうまくいきません。
python
1response.css('items-box-name font-2').xpath('string()'). extract_first().strip() 2
このように指定したのですが、scrapy shellによるエラーメッセージは
AttributeError: 'NoneType' object has no attribute 'strip'
上記のようなものでした。
strip()をなくしても、エラーメッセージは出ませんが、なにも要素を抽出できていないようです。
以前違うページでは同じ方法でできたのですが、今回はうまくいきませんでした。
検索結果ページから商品名などの情報を抽出する正しいコードを教えてください。
環境
ubuntu16.04 LTS
scrapy 1.50
python3.5.2
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。