質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Q&A

解決済

1回答

1507閲覧

scrapyでスクレイピングしたいがうまく動作しない

ari1235

総合スコア11

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

0グッド

0クリップ

投稿2018/08/22 14:35

編集2018/08/23 12:54

前提・実現したいこと

scraoyを使ったスクレイピングの練習を、ScrapyによるWebスクレイピングを見ながら行なっています。芥川賞の受賞者名、回(年)、タイトル、掲載誌を取得するのが目標です。
エラーとは関係ありませんがspiderのコードによくわからないところがあるのでコメントアウトで解釈?を書いてみました。

発生している問題・エラーメッセージ

scrapy crawl prize -o akutagawa.csvの実行結果がこれです。

2018-08-22 23:00:37 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: akutagawa) 2018-08-22 23:00:37 [scrapy.utils.log] INFO: Versions: lxml 4.2.4.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 3.5.2 (default, Aug 15 2018, 23:42:21) - [GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0i 14 Aug 2018), cryptography 2.3.1, Platform Darwin-16.7.0-x86_64-i386-64bit 2018-08-22 23:00:37 [scrapy.crawler] INFO: Overridden settings: {'FEED_URI': 'akutagaw.csv', 'BOT_NAME': 'akutagawa', 'NEWSPIDER_MODULE': 'akutagawa.spiders', 'ROBOTSTXT_OBEY': True, 'FEED_FORMAT': 'csv', 'SPIDER_MODULES': ['akutagawa.spiders'], 'DOWNLOAD_DELAY': 3} 2018-08-22 23:00:37 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.memusage.MemoryUsage', 'scrapy.extensions.logstats.LogStats', 'scrapy.extensions.feedexport.FeedExporter'] 2018-08-22 23:00:37 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2018-08-22 23:00:37 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2018-08-22 23:00:37 [scrapy.middleware] INFO: Enabled item pipelines: [] 2018-08-22 23:00:37 [scrapy.core.engine] INFO: Spider opened 2018-08-22 23:00:37 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2018-08-22 23:00:37 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2018-08-22 23:00:38 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bunshun.co.jp/robots.txt> (referer: None) 2018-08-22 23:00:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bunshun.co.jp/shinkoukai/award/akutagawa/list.html/> (referer: None) 2018-08-22 23:00:41 [scrapy.core.engine] INFO: Closing spider (finished) 2018-08-22 23:00:41 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 565, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 14377, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2018, 8, 22, 14, 0, 41, 596462), 'log_count/DEBUG': 3, 'log_count/INFO': 7, 'memusage/max': 53940224, 'memusage/startup': 53936128, 'response_received_count': 2, 'scheduler/dequeued': 1, 'scheduler/dequeued/memory': 1, 'scheduler/enqueued': 1, 'scheduler/enqueued/memory': 1, 'start_time': datetime.datetime(2018, 8, 22, 14, 0, 37, 783413)} 2018-08-22 23:00:41 [scrapy.core.engine] INFO: Spider closed (finished)

該当のソースコード

spider

# -*- coding: utf-8 -*- import scrapy from akutagawa.items import AkutagawaItem class PrizeSpider(scrapy.Spider): name = 'prize' allowed_domains = ['www.bunshun.co.jp'] start_urls = ['http://www.bunshun.co.jp/shinkoukai/award/akutagawa/list.html/'] def parse(self, response): contents = response.xpath('//*[@id="myTabContent"]') tableIds = contents.xpath('div/@id').extract() for tableId in tableIds: tab = contents.xpath('div[@id="'+tableId+'"]') nos = remove_header(tab.xpath('dl/dt/span[1]//text()').extract()) years = remove_header(tab.xpath('dl/dt/span[2]//text()').extract()) names = remove_header(tab.xpath('dl/dd/span[1]//text()').extract()) titles = remove_header(tab.xpath('dl/dd/span[2]//text').extract()) magazines = remove_header(tab.xpath('dl/dd[2]/span[3]//text()').extract()) na_indexes = [i for i, val in enumerate(names) if val == "なし"] # enumerate(names)でnames内の情報に番号を振る(番号はiに、nameはvalに入る。)この時、name=="なし"のもののみがvalに入るようにifで条件付け。nameのない行の番号がna_indexesに入る。 #na_indexes の []の中でまとめて書かれてしまっているこの処理を、まとめず一つずつ書いたらどのようにかけば良いのか知りたいです。 remove_na_rows(nos,years,names,na_indexes) for(_no,_year,_name,_title,_magazine) in zip(nos,years,names,titles,magazines): yield AkutagawaItem(no=_no,year=_year,name=_name,title=_title,magazine=_magazine) def remove_header(items): return items[1:] def remove_na_rows(nos,years,names,indexes): for i in sorted(indexes, reverse=True): del nos[i],years[i],names[i] # 先ほどna_indexesに入れた名前のない行の情報を降順にソートし対応する行のno,year,nameを削除

item.py

# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://doc.scrapy.org/en/latest/topics/items.html import scrapy class AkutagawaItem(scrapy.Item): # define the fields for your item here like: name = scrapy.Field() no = scrapy.Field() year = scrapy.Field() title = scrapy.Field() magazine = scrapy.Field() url = scrapy.Field()

試したこと

scrapy shellで欲しい情報を抽出できるのは確認しました。
また、スペルミスやインデントも見直しました。

補足情報(FW/ツールのバージョンなど)

python3.5.2

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

spider中の

for tableId in tableIds: tab = contents.xpath('div[@id="'+tableId+'"]') nos = remove_header(tab.xpath('dl/dt/span[1]//text()').extract()) years = remove_header(tab.xpath('dl/dt/span[2]//text()').extract()) names = remove_header(tab.xpath('dl/dd/span[1]//text()').extract()) titles = remove_header(tab.xpath('dl/dd/span[2]//text').extract()) magazines = remove_header(tab.xpath('dl/dd[2]/span[3]//text()').extract())

を参考としたサイトの通りに

for tabId in tabIds: # データ抽出 tab = contents.xpath('div[@id="' + tabId + '"]') nos = remove_header(tab.xpath('dl/*/span[@class="no"]/text()').extract()) years = remove_header(tab.xpath('dl/*/span[@class="year"]/text()').extract()) names = remove_header(tab.xpath('dl/*/span[@class="name"]/text()').extract()) titles = tab.xpath('dl/*/span[@class="title"]/text()').extract() magazines = remove_header(tab.xpath('dl/*/span[@class="magazine "]/text()').extract())

としてみたところ抽出できました。(tabIdがtableIdとなっていたことに気づきましたが、そこは問題になっていた箇所ではないと思います。)

xpathの書き方によってはscrapy shellで抽出できてもcrawlingできない様です。
これに関しては別に質問したいと思います。

投稿2018/08/25 05:30

ari1235

総合スコア11

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問