質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.61%

  • Python 3.x

    5914questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Scrapy

    80questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Scrapyのエラーについて

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 373

tuna.py

score 8

某サイトデータをMongoDBに保存するのにpython3.6でScrapyを使っています。

scrapy crawl corporate を実行するとエラーになります。

エラーが読み取れないのですが、pymongo.errors とあります。
pymongo関係のエラーでしょうか?

お分かりになられましたら、教えてください。よろしくお願いいたします。

環境 Windows10

(C:\Users\@@@\Anaconda3) C:\Users\@@@\@@@>scrapy crawl corporate (実行)

2017-12-31 09:37:49 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: @@@)
2017-12-31 09:37:49 [scrapy.utils.log] INFO: Versions: lxml 4.1.0.0, libxml2 2.9.4, cssselect 1.0.3, parsel 1.3.1, w3lib 1.18.0, Twisted 17.9.0, Python 3.6.3 |Anaconda custom (64-bit)| (default, Oct 15 2017, 03:27:45) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 17.2.0 (OpenSSL 1.0.2l  25 May 2017), cryptography 2.0.3, Platform Windows-10-10.0.16299-SP0
2017-12-31 09:37:49 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'shikiho', 'DOWNLOAD_DELAY': 10, 'NEWSPIDER_MODULE': '@@@.spiders', 'SPIDER_MODULES': ['@@@.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}
2017-12-31 09:37:50 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2017-12-31 09:37:50 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-31 09:37:50 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-31 09:37:50 [scrapy.middleware] INFO: Enabled item pipelines:
['@@@.pipelines.CorporatePipeline']
2017-12-31 09:37:50 [scrapy.core.engine] INFO: Spider opened
2017-12-31 09:37:50 [scrapy.core.engine] INFO: Closing spider (shutdown)
2017-12-31 09:37:50 [root] INFO: 2017-12-31 09:37:50 MongoDBとの接続を終了
2017-12-31 09:37:50 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'finish_reason': 'shutdown',
 'finish_time': datetime.datetime(2017, 12, 31, 0, 37, 50, 193514),
 'log_count/INFO': 7}
2017-12-31 09:37:50 [scrapy.core.engine] INFO: Spider closed (shutdown)
Unhandled error in Deferred:
2017-12-31 09:37:50 [twisted] CRITICAL: Unhandled error in Deferred:

2017-12-31 09:37:50 [twisted] CRITICAL:
Traceback (most recent call last):
  File "c:\users\@@@\anaconda3\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks
    result = g.send(result)
  File "c:\users\@@@\anaconda3\lib\site-packages\scrapy\crawler.py", line 82, in crawl
    yield self.engine.open_spider(self.spider, start_requests)
pymongo.errors.OperationFailure: Authentication failed.
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • Udomomo

    2018/01/01 12:26

    pymongo.errors.OperationFailure: Authentication failedとあるので、MongoDBのログイン・認証まわりが怪しいですね。それ以上のことは、作成されたソースコードがないと何とも言えません。

    キャンセル

  • tuna.py

    2018/01/09 09:49

    ご回答ありがとうございます!MongoDBのログイン・認証まわりで検証中です。なかなか難しいですね

    キャンセル

回答 1

0

Udomomoさんのおっしゃるように認証のエラーです。
以下のリンクにいろいろの解決法へのリンクがあります。
https://stackoverflow.com/questions/45732838/authentication-failed-to-connect-to-mongodb-using-pymongo

ユーザー名等の確認にはpythonからではなくmongodbのコマンドから確かめてください。

ユーザー名等を入力していないのであればmongodbの起動時のコマンドを見直してください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/01/09 09:51

    ご回答ありがとうございます!MongoDBのログイン・認証まわりで検証中です。なかなか難しいですね。プログラミング始めたばっかりなので、英語記事の参照がまだ慣れませんがご紹介ありがとうございます!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.61%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    5914questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Scrapy

    80questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。