teratail
回答率
85.48%
質問するログイン新規登録

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

新規登録して質問してみよう
ただいま回答率
85.48%
トップPython 3.xに関する質問
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Q&A

解決済

1回答

312閲覧

Pythonのscrapyによるクローリング、スクレイピング

RarigoB
RarigoB

総合スコア26

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

0グッド

0クリップ

投稿2018/04/24 05:49

編集2018/04/27 14:16

0

0

わからないこと
scrapyでクローリング.スクレイピングしてもJSONファイルになにも書き込まれない

実現したいこと
正常に動作させたい

趣味のスロットのライターの来店予定なんかを収集しようと思っています。
http://www.bash-tv.com/wp/schedule
このページをスクレイピングしたいのですが、うまくいきません。
エラーなどは出ないのですが、スクレピングできていないようです。

import scrapy

from myproject.items import SceduleItem

class TestSpider(scrapy.Spider):
    name = "test6"
    allowed_domains = ["bash-tv.com"]
    start_urls = (
        'http://www.bash-tv.com/wp/schedule',
    )

    def parse(self, response):
        """
        日付ごとのboxを取得
        """
        for info in response.xpath('//div[@class="syuroku_raiten_area"]'):
            yield from self.parse_info(info)

    def parse_info(self, info):
        """
        取得した日付ごとのboxの中にある、それぞれのboxをスクレイピングし、iteｍに格納する
        """
        item = SceduleItem()
        day = info.xpath('//h3/text()').extract_first() #parseで取得したboxの日付を得る。
        for result in info.xpath('//div[@class="syuroku_raiten_area"]/div[@class="hall_info"]'):
            content = result.xpath('//div[@class="text"]/div[@class="bangumi"]/text()').extract_first()
            cast = result.xpath('//div[@class="text"]/div[@class="syutsuen"]/text()').extract_first()
            item['day'] = day
            item['place'] = result.xpath('//div[@class="area"]/text()').extract_first()
            item['shop'] = result.xpath('//div[@class="name"]/text()').extract_first()
            item['content'] = cast + content
            item['media'] = 'バッシュTV'
            yield item




items.py
1# -*- coding: utf-8 -*-
2
3# Define here the models for your scraped items
4#
5# See documentation in:
6# https://doc.scrapy.org/en/latest/topics/items.html
7
8import scrapy
9
10
11class SceduleItem(scrapy.Item):
12    day = scrapy.Field()
13    place = scrapy.Field()
14    content = scrapy.Field()
15    shop = scrapy.Field()
16    media = scrapy.Field()
17

2018-04-27 23:15:48 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: myproject)
2018-04-27 23:15:48 [scrapy.utils.log] INFO: Versions: lxml 3.5.0.0, libxml2 2.9.3, cssselect 1.0.1, parsel 1.3.1, w3lib 1.18.0, Twisted 17.9.0, Python 3.5.2 (default, Nov 23 2017, 16:37:01) - [GCC 5.4.0 20160609], pyOpenSSL 17.5.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.4, Platform Linux-4.4.0-119-generic-x86_64-with-Ubuntu-16.04-xenial
2018-04-27 23:15:48 [scrapy.crawler] INFO: Overridden settings: {'FEED_FORMAT': 'jl', 'BOT_NAME': 'myproject', 'DOWNLOAD_DELAY': 1, 'NEWSPIDER_MODULE': 'myproject.spiders', 'ROBOTSTXT_OBEY': True, 'FEED_URI': 'test5.jl', 'SPIDER_MODULES': ['myproject.spiders']}
2018-04-27 23:15:48 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.feedexport.FeedExporter',
 'scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole']
2018-04-27 23:15:48 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-04-27 23:15:48 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-04-27 23:15:48 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-04-27 23:15:48 [scrapy.core.engine] INFO: Spider opened
2018-04-27 23:15:48 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-04-27 23:15:48 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-04-27 23:15:49 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.bash-tv.com/robots.txt> (referer: None)
2018-04-27 23:15:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bash-tv.com/wp/schedule> (referer: None)
2018-04-27 23:15:51 [scrapy.core.engine] INFO: Closing spider (finished)
2018-04-27 23:15:51 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 449,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 199210,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/404': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2018, 4, 27, 14, 15, 51, 243458),
 'log_count/DEBUG': 3,
 'log_count/INFO': 7,
 'memusage/max': 54681600,
 'memusage/startup': 54681600,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2018, 4, 27, 14, 15, 48, 736407)}
2018-04-27 23:15:51 [scrapy.core.engine] INFO: Spider closed (finished)

日付ごとのboxを取得し、それをparse_infoで解析し、itemに格納したいんですが、JSONに出力しようとしても出力されず、
ログをみてもスクレイピングできていないようです。
parse_infoがうまく呼び出せていないのかななんて考えているのですがいまいちよくわかりません。
このプログラムが正常にスクレピングするにはどうしたらいいでしょうか。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/04/27 04:02

scrapyの実行ログを質問文にも載せたほうがいいと思います。 また、`parse_info`がうまく呼び出せていないのではないかと考えられているようですが、そのことはちゃんとデバッグして確認しましたか？
RarigoB
RarigoB

2018/04/27 14:17

どうやら、parse_infoが呼び出せていないようなのですが原因はなんでしょうか
退会済みユーザー

退会済みユーザー

2018/04/28 02:16

デバッグして確認したということですよね？具体的にどのような方法でそれを確認しましたか？
退会済みユーザー

退会済みユーザー

2018/04/28 02:21

それと、scrapyのspiderに複数のパーサーを追加するのは、 通常パーサーそれぞれが別のurlのページを取得してスクレイピングする場合に限られるので、 今回の場合はそもそもパーサーを分ける必要性がないと思います。
RarigoB
RarigoB

2018/04/30 08:05

返答が遅くなり申し訳ありません。今回のようにboxのなかのboxを解析する場合はどうすればいいのでしょうか？
RarigoB
RarigoB

2018/04/30 08:09

パーサーを分けずにやる場合は
guest

回答1件

0

ベストアンサー

parseが値を何も返さずに終わっているからですね。
Item(のサブクラス)をyieldしているのはparse_infoの方ですが、parseがそれを捨てているのです。

            self.parse_info(info)

を

            yield from self.parse_info(info)

とでもすればいいんじゃないかと。

https://docs.python.jp/3/reference/expressions.html#yieldexpr

        for result in info.xpath('//div[@class="syuroku_raiten_area"]/div[@class="hall_info"]'):
            content = result.xpath('//div[@class="text"]/div[@class="bangumi"]/text()').extract_first()

↓

        for result in info.xpath('.//div[@class="hall_info"]'):
            content = result.xpath('./div[@class="text"]/div[@class="bangumi"]/text()').extract_first()
(あとは略)

こうかな?

何を直したのかわかっていないようなので。

せっかく要素を探索してループを回しているのに、その中で//から探索したら、常にルートノードから探索してしまって意味がないので、コンテキストノードの下を探すように書きました。

http://www.techscore.com/tech/XML/XPath/xpath02.html/

投稿2018/04/24 06:13

編集2018/04/30 15:01
quickquip
quickquip

総合スコア11038

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

RarigoB
RarigoB

2018/04/27 02:21

返答が遅くなり申し訳ありません。うまいきませんでした。xpathのほうがscrapy shellで確かめているので間違いはないと思うのですが、日付のboxごとにとって、その中のboxを解析するというやり方がちがうのでしょうか？
RarigoB
RarigoB

2018/04/27 02:27

修正したspiderとitems.pyを質問に記載しておきますので、なにか間違いがれば教えていただけると幸いです。
RarigoB
RarigoB

2018/04/30 08:05

やはりうまくいかないようです
RarigoB
RarigoB

2018/04/30 08:37

申し訳ありません。xpathの間違いでした。うまくいったのですが、日付がすべて同じになってしまいました。なにか修正点はあるのでしょうか
quickquip
quickquip

2018/04/30 15:01

すでに書いたことと同じですよね。
RarigoB
RarigoB

2018/05/02 02:37

はい、すいません自分の理解不足でした。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

質問の解決につながる回答をしましょう。 サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。 また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

トップPython 3.xに関する質問

Pythonのscrapyによるクローリング、スクレイピング