質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Q&A

解決済

1回答

4296閲覧

scrapyを使用したスクレイピングの動作について

kk.o

総合スコア11

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

0グッド

0クリップ

投稿2018/01/06 08:53

scrapyを使用し、動作を確認を行ったところ、
クロールしたページが0になります。
ソースを何パターンか変更し確認を行ったところ、
常に同様の現象になっています。
以下に書籍の内容を実行した際の状況を記載いたします。
ネットやオリジナルのソースで確認を実施しても同様のログになります。
根本的に抜けている所がありますでしょうか?

2018-01-06 17:35:09 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
(scrapy crawl quotes)

環境
・windowd10 64bit pro
・Python 3.6.3 :: Anaconda, Inc.

手順
①コマンド:scrapy startproject my_project
②cd my_project
③scrapy genspider -t crawl quotes quotes.toscrape.com
④quotes.pyとitems.pyとsettings.pyの変更を実施。
その他作成された.pyはデフォルトのままです。

items.py
import scrapy
class Quote(scrapy.Item):
author = scrapy.Field()
text = scrapy.Field()
tags = scrapy.Field()

settings.py
BOT_NAME = 'my_project'
SPIDER_MODULES = ['my_project.spiders']
NEWSPIDER_MODULE = 'my_project.spiders'
ROBOTSTXT_OBEY = True
REDIRECT_MAX_TIMES = 6
RETRY_ENABLED = False
DOWNLOAD_DELAY = 3

実行コマンド 
scrapy crawl quotes

ログ
(tf140) C:\Users\ogawa\Desktop\my_project\my_project\my_project\spiders>scrapy crawl quotes
OK
2018-01-06 17:35:09 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: my_project)
2018-01-06 17:35:09 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'my_project', 'DOWNLOAD_DELAY': 3, 'NEWSPIDER_MODULE': 'my_project.spiders', 'REDIRECT_MAX_TIMES': 6, 'RETRY_ENABLED': False, 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['my_project.spiders']}
2018-01-06 17:35:09 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2018-01-06 17:35:09 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-01-06 17:35:09 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-01-06 17:35:09 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-01-06 17:35:09 [scrapy.core.engine] INFO: Spider opened
2018-01-06 17:35:09 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-01-06 17:35:09 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-01-06 17:35:10 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None)
2018-01-06 17:35:13 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/> (referer: None)
2018-01-06 17:35:13 [scrapy.core.scraper] ERROR: Spider error processing <GET http://quotes.toscrape.com/> (referer: None)
Traceback (most recent call last):
File "C:\Users\ogawa\AppData\Local\conda\conda\envs\tf140\lib\site-packages\twisted\internet\defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "C:\Users\ogawa\Desktop\my_project\my_project\my_project\spiders\quotes.py", line 27, in parse
items.append(item)
NameError: name 'items' is not defined
2018-01-06 17:35:13 [scrapy.core.engine] INFO: Closing spider (finished)
2018-01-06 17:35:13 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 444,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 2701,
'downloader/response_count': 2,
'downloader/response_status_count/200': 1,
'downloader/response_status_count/404': 1,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2018, 1, 6, 8, 35, 13, 579903),
'log_count/DEBUG': 3,
'log_count/ERROR': 1,
'log_count/INFO': 7,
'response_received_count': 2,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'spider_exceptions/NameError': 1,
'start_time': datetime.datetime(2018, 1, 6, 8, 35, 9, 993096)}
2018-01-06 17:35:13 [scrapy.core.engine] INFO: Spider closed (finished)

ご教授よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

エラーになっています。
quotes.pyをデバッグしてください。

File "C:\Users\ogawa\Desktop\my_project\my_project\my_project\spiders\quotes.py", line 27, in parse items.append(item) NameError: name 'items' is not defined

投稿2018/01/07 03:19

mkgrei

総合スコア8560

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kk.o

2018/01/07 12:40

ご確認ありがとうございます。 linuxの環境を構築して確認中です。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問