Scrapy 初心者

Question

参考書通りに読み。進めているのですが、部分理解に欠けるので、質問させていただきます。
ご教授おお願い致します。

#まず、jupyterlabにてコードを実行しています。
・Scrapyをjupyterlabでインストール。

pip install Scrapy
↓
Collecting scrapy
  Using cached Scrapy-2.4.0-py2.py3-none-any.whl (239 kB)
・
・
・　
  Using cached pyasn1-0.4.8-py2.py3-none-any.whl (77 kB)
Collecting pyasn1-modules
  Using cached pyasn1_modules-0.2.8-py2.py3-none-any.whl (155 kB)
Requirement already satisfied: setuptools in /Users/oki/.pyenv/versions/3.8.2/lib/python3.8/site-packages (from zope.interface>=4.1.3->scrapy) (41.2.0)
Collecting jmespath>=0.9.5
  Using cached jmespath-0.10.0-py2.py3-none-any.whl (24 kB)
Collecting idna>=2.5
  Using cached idna-2.10-py2.py3-none-any.whl (58 kB)
Collecting pycparser
  Using cached pycparser-2.20-py2.py3-none-any.whl (112 kB)
Using legacy 'setup.py install' for Twisted, since package 'wheel' is not installed.
Using legacy 'setup.py install' for protego, since package 'wheel' is not installed.
Using legacy 'setup.py install' for PyDispatcher, since package 'wheel' is not installed.
Installing collected packages: queuelib, zope.interface, constantly, incremental, attrs, Automat, idna, hyperlink, PyHamcrest, Twisted, pycparser, cffi, cryptography, pyasn1, pyasn1-modules, service-identity, itemadapter, protego, pyOpenSSL, w3lib, lxml, PyDispatcher, jmespath, cssselect, parsel, itemloaders, scrapy
    Running setup.py install for Twisted ... done
    Running setup.py install for protego ... done
    Running setup.py install for PyDispatcher ... done
Successfully installed Automat-20.2.0 PyDispatcher-2.0.5 PyHamcrest-2.0.2 Twisted-20.3.0 attrs-20.2.0 cffi-1.14.3 constantly-15.1.0 cryptography-3.2.1 cssselect-1.1.0 hyperlink-20.0.1 idna-2.10 incremental-17.5.0 itemadapter-0.1.1 itemloaders-1.0.3 jmespath-0.10.0 lxml-4.6.1 parsel-1.6.0 protego-0.1.16 pyOpenSSL-19.1.0 pyasn1-0.4.8 pyasn1-modules-0.2.8 pycparser-2.20 queuelib-1.5.0 scrapy-2.4.0 service-identity-18.1.0 w3lib-1.22.0 zope.interface-5.1.2
WARNING: You are using pip version 20.2.2; however, version 20.2.4 is available.
You should consider upgrading via the '/Users/oki/.pyenv/versions/3.8.2/bin/python -m pip install --upgrade pip' command.
Note: you may need to restart the kernel to use updated packages.

##pip Ver up

Requirement already up-to-date: pip in /Users/MMM/.pyenv/versions/3.8.2/lib/python3.8/site-packages (20.2.4)

###参考書の手順に沿うと。
１、scrapyコマンドを使ってプロジェクトを作成。
2、spiderクラスを記述してクロールとデータの取得処理を作成。
3、コマンドラインからscrapyを実行する。

１

$scrapy startproject soseki_list
コード

####①soseki_listプロジェクトを作成と記載されていたので。
ローカルに、desktop/soseki_list/spiders/soseki.pyを作成しました。（解釈があっているか曖昧です。）
しかしここで、参考書は、上記のコードを実行すれば
soseki_list/
|-scrapy.cfg---設定ファイル
|-soseki_list---これいかがpythonモジュール
|init_.py etc...
が自動生成されると記載せれているのですが、上記のコードを実行してもされなかったため①を自分で作成しました。

#####2,spiderクラスの作成

import scrapy
↓
class SosekiSpider(scrapy.Spider):
    name = 'soseki'
    start_urls = [
        'https://www.aozora.gr.jp/index_pages/person148.html'
    ]
    
    def parse(self, response):
        title = response.css('title')
        print(title.extract())

エラーはなく。通りましたが、何も変化ありません。ローカルにファイルが作成されてもいません。

コマンドラインから実行して結果を得る。
######次に、

scrapy crawl soseki --nolog
↓
File "<ipython-input-13-f83148b5f8ab>", line 1
    scrapy crawl soseki --nolog
           ^
SyntaxError: invalid syntax

↓

['<titile>作家別作品リスト：夏目漱石</titile>']
↓
['<titile>作家別作品リスト：夏目漱石</titile>']

#######次に作品一覧を取得するように作り込む。

import scrapy
↓
class Soseki2Spider(scrapy.Spider):
    name = 'soseki2'
    start_urls = [
        'https://www.aozora.gr.jp/index_pages/person148.html'
    ]
    
    def parse(self, response):
        li_list = response.css('ol > li a')
        for a in li_list:
            href = a.css('::attr(href)').extract_first()
            text = a.css('::text').extract_first()
            href2 = response.urljoin(herf)
            yield {
                'text': text,
                'url': href2
            }

########spiderクラスの作成と同じく、エラーはなく。通りました。
そして、

scrapy crawl soseki2 -o list.json
↓
 File "<ipython-input-17-58ab94a1f4cf>", line 1
    scrapy crawl soseki2 -o list.json
           ^
SyntaxError: invalid syntax

とエラーが出てしまいます。

何が間違っているのか。
ご指摘、ご教授を初心者向けにわかりやすくご説明くださると幸いです。
よろしくお願い致します。

Answer 1

検索し、自己解決済。

Comments

[退会済みユーザー]

自己解決であれば、「解決した方法を具体的に」記述してください。