質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

PyCharm

エディター・開発ツール

Q&A

解決済

1回答

1394閲覧

pycharmの環境設定とModuleNotFoundError: No module named 'http.client'について

退会済みユーザー

退会済みユーザー

総合スコア0

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

PyCharm

エディター・開発ツール

0グッド

0クリップ

投稿2018/02/27 01:51

こんにちは!

表題について2点質問があります。

いま下記サイトを参考にscrapyを使ってスクレイピングの勉強をしていたのですが、環境設定が上手く行っていないのかpycharmから実行をすると下記エラーが表示されてしまいます。

http://data.gunosy.io/entry/python-scrapy-scraping

ソースコードや手順は全てコピペで実行をしています。
コマンドラインから実行すると問題なく処理されます。

【実行環境】
・mac high sierra
・Python 3.6.4
・環境構築は $ python3 -m venv gu で仮想環境を作成しています。

console

1/Users/○○○/Desktop/gu/bin/python /Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.py crawl gunosy 2Traceback (most recent call last): 3 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.py", line 1, in <module> 4 from scrapy.cmdline import execute 5 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__init__.py", line 27, in <module> 6 from . import _monkeypatches 7 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/_monkeypatches.py", line 20, in <module> 8 import twisted.persisted.styles # NOQA 9 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/persisted/styles.py", line 21, in <module> 10 from twisted.python.compat import _PY3, _PYPY 11 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/python/__init__.py", line 11, in <module> 12 from .compat import unicode 13 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/twisted/python/compat.py", line 607, in <module> 14 from http import cookiejar as cookielib 15 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/__init__.py", line 8, in <module> 16 from scrapy.http.headers import Headers 17 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/__init__.py", line 10, in <module> 18 from scrapy.http.request import Request 19 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/http/request/__init__.py", line 8, in <module> 20 from w3lib.url import safe_url_string 21 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/w3lib/url.py", line 18, in <module> 22 from six.moves.urllib.request import pathname2url, url2pathname 23 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 92, in __get__ 24 result = self._resolve() 25 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 160, in _resolve 26 module = _import_module(self.mod) 27 File "/Users/○○○/Desktop/gu/lib/python3.6/site-packages/six.py", line 82, in _import_module 28 __import__(name) 29 File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 88, in <module> 30 import http.client 31ModuleNotFoundError: No module named 'http.client' 32 33Process finished with exit code 1

pycharmの実行設定は下記画像のようになっています。

イメージ説明

いまのところ自分では特に変な点が見つからないので、何かダメな点などがあればご指摘いただけると嬉しいです!

それでは宜しくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapy/__main__.pyを起動しているので、sys.pathの先頭に/Users/○○○/Desktop/gu/lib/python3.6/site-packages/scrapyがセットされると思います。
ここにhttpという名前のフォルダ(パッケージ)があって、標準ライブラリの名前を隠してしまっているのではないでしょうか。

(簡単に再現できそうに見えて、再現できませんでした。なので推測ですが)


https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects#answer-23462150
この回答とコメント4のプロジェクト構成の方が、いろいろ都合がよいように感じます。

私なら

Python

1import sys 2 3from scrapy import cmdline 4 5cmdline.execute(['scrapy'] + sys.argv[1:])

とでもするでしょうか。

投稿2018/02/27 04:05

quickquip

総合スコア11029

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/02/27 23:57

バッチリです!できました! pycharmについて別の質問もあるのですが、今回の質問と分けたいので別で質問したいと思います! ありがとうございます!!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問