質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.40%

  • Python 3.x

    10683questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • PyCharm

    240questions

    エディター・開発ツール

  • Scrapy

    122questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

pycharmの環境設定とModuleNotFoundError: No module named 'http.client'について

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 2,150
退会済みユーザー

退会済みユーザー

こんにちは!

表題について2点質問があります。

いま下記サイトを参考にscrapyを使ってスクレイピングの勉強をしていたのですが、環境設定が上手く行っていないのかpycharmから実行をすると下記エラーが表示されてしまいます。

http://data.gunosy.io/entry/python-scrapy-scraping

ソースコードや手順は全てコピペで実行をしています。
コマンドラインから実行すると問題なく処理されます。

【実行環境】
・mac high sierra
・Python 3.6.4
・環境構築は $ python3 -m venv gu で仮想環境を作成しています。

/Users/○○○/Desktop/gu/bin/python /Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.py crawl gunosy
Traceback (most recent call last):
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.py", line 1, in <module>
    from scrapy.cmdline import execute
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__init__.py", line 27, in <module>
    from . import _monkeypatches
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/_monkeypatches.py", line 20, in <module>
    import twisted.persisted.styles  # NOQA
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/persisted/styles.py", line 21, in <module>
    from twisted.python.compat import _PY3, _PYPY
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/python/__init__.py", line 11, in <module>
    from .compat import unicode
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/python/compat.py", line 607, in <module>
    from http import cookiejar as cookielib
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/__init__.py", line 8, in <module>
    from scrapy.http.headers import Headers
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/__init__.py", line 10, in <module>
    from scrapy.http.request import Request
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/request/__init__.py", line 8, in <module>
    from w3lib.url import safe_url_string
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/w3lib/url.py", line 18, in <module>
    from six.moves.urllib.request import pathname2url, url2pathname
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 92, in __get__
    result = self._resolve()
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 160, in _resolve
    module = _import_module(self.mod)
  File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 82, in _import_module
    __import__(name)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 88, in <module>
    import http.client
ModuleNotFoundError: No module named 'http.client'

Process finished with exit code 1


pycharmの実行設定は下記画像のようになっています。

イメージ説明

いまのところ自分では特に変な点が見つからないので、何かダメな点などがあればご指摘いただけると嬉しいです!

それでは宜しくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.pyを起動しているので、sys.pathの先頭に/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapyがセットされると思います。
ここにhttpという名前のフォルダ(パッケージ)があって、標準ライブラリの名前を隠してしまっているのではないでしょうか。

(簡単に再現できそうに見えて、再現できませんでした。なので推測ですが)


https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects#answer-23462150
この回答とコメント4のプロジェクト構成の方が、いろいろ都合がよいように感じます。

私なら

import sys

from scrapy import cmdline

cmdline.execute(['scrapy'] + sys.argv[1:])


とでもするでしょうか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/02/28 08:57

    バッチリです!できました!
    pycharmについて別の質問もあるのですが、今回の質問と分けたいので別で質問したいと思います!

    ありがとうございます!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.40%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Python 3.x

    10683questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • PyCharm

    240questions

    エディター・開発ツール

  • Scrapy

    122questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。