Scrapyにてモジュールが存在しないというエラーが発生してしまう

Question

背景

対象：Scrapy,MySQL
実現したいこと：Scrapyでスクレイピングを行ったデータをMySQlに格納したい
環境：Windouws/JupyterNotebook

参照
https://sugiaki1989.gitbook.io/scrapy-note/chapter07_mysql

発生している問題・エラーメッセージ

ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-39-071624cbe252> in <module>
      1 from scrapy import Spider
      2 from scrapy.http import Request
----> 3 from sample_books_mysql.items import BooksMysqlItem

ModuleNotFoundError: No module named 'sample_books_mysql.items'

推測

参照サイトのコードをほぼそのまま貼り付けていっただけだが、
なぜか「sample_books_mysql.items」というモジュールは存在しないとのメッセージが表示される
確認したところ、「sample_books_mysql」というファイル内に「items.py」というドキュメントが存在していたため、
何が問題がわからない

該当のソースコード

!pip install pymysql
!pip3 install Scrapy

! scrapy startproject sample_books_mysql
! cd sample_books_mysql
! scrapy genspider books_spider_mysql books.toscrape.com

import scrapy
class BooksMysqlItem(scrapy.Item):
        title = scrapy.Field()
        price = scrapy.Field()
        detail_page_url = scrapy.Field()

from scrapy import Spider
from scrapy.http import Request
from sample_books_mysql.items import BooksMysqlItem

Comments

[ppaul]

「sample_books_mysql」というファイル内に「items.py」というドキュメントが存在していた
というのは、
「sample_books_mysql」というフォルダ内に「items.py」というファイルが存在していた
という意味であっていますか。
もしそうなら、「sample_books_mysql」というフォルダはどこにありますか。

[penmon]

C:\Users\moonb\sample_books_mysql\sample_books_mysql\items.py
上記のようなパスになっております。

[jbpb0]

> 「sample_books_mysql.items」というモジュールは存在しないとのメッセージが表示

を、全部省略せずに質問に追記してください

おそらく「Traceback...」があると思うので、そこから全部
(ユーザー名とかの個人情報は、もちろん伏せ字にしていいです)

ここに書かないで、質問を編集して追記してください

Answer 1

Jupyterで「!cd ...」は効果なく、その行を実行しても次の行の「! scrapy genspider...」の実行には反映されません

参考
Jupyter Notebookでシステムコマンドを実行し文字列のリストとして取得
の「!をつけてシステムコマンドを実行」の「!cdコマンドの注意点」の「カレントディレクトリを変更（移動）するシステムコマンド...」のところ

下記のように変えてみてください

! cd sample_books_mysql

↓ 変更

import os
os.chdir('sample_books_mysql’)

そうしたら、当方では
No module named ‘sample_books_mysql.items'
は出なくなりました
(ppaulさんの回答の対策は、どちらも行ってません)

　.
ただし、当方で試したところ、別のエラー
cannot import name 'BooksMysqlItem' from ‘sample_books_mysql.items'
が出ました

「items.py」の内容を確認したら、確かに「BooksMysqlItem」はありませんでした
「SampleBooksMysqlItem」というのはありましたけど

【追記】 第7章　ScrapyとMySQL
を見ると、そこは自分でコード書く部分ですね
私はそれやってないので、エラー出て当然です

【追記2】 質問のコード中で「BooksMysqlItem」が定義されてますが、そこじゃなくて「items.py」内で定義しないとエラー出ます
下記で、「items.py」から「BooksMysqlItem」をimportしようとするからです

from sample_books_mysql.items import BooksMysqlItem

Answer 2

C:\Users\moonb\sample_books_mysql\sample_books_mysql\items.py

を読み込みたいとのことですと、以下のいずれかを試してみてください。

修正案１

from scrapy import Spider
from scrapy.http import Request
import os
#os.chdir('C:\Users\moonb\sample_books_mysql') 間違っていました
os.chdir('C:\Users\moonb')
from sample_books_mysql.items import BooksMysqlItem

修正案2

from scrapy import Spider
from scrapy.http import Request
import sys
#sys.path.append('C:\Users\moonb\sample_books_mysql') 間違っていました
sys.path.append('C:\Users\moonb')
from sample_books_mysql.items import BooksMysqlItem

Comments

[penmon]

ご回答頂きありがとうございました。
しなしながら、どちらの場合でも同様のエラー（ModuleNotFoundError）が発生いたします。
この場合、どのような原因が考えられるのでしょうか？

[ppaul]

'C:\Users\moonb\sample_books_mysql'は間違いでした。
'C:\Users\moonb'に修正して試してみてください。