質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Q&A

解決済

2回答

6709閲覧

pythonにscrapyをインストールしたい

chapin

総合スコア80

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

0グッド

0クリップ

投稿2018/03/27 10:26

前提・実現したいこと

pythonにscrapyをインストールしようとしていますが、以下のようなエラーでインストールすることができませんでした。
プログラミングを始めたばかりですのでなにかアドバイスいただけたら助かります。

発生している問題・エラーメッセージ

------------------------途中から----------------------------------------------------------------------------
\python\test
copying src\twisted\words\im\instancemessenger.glade -> build\lib.win-amd64-3.6\twisted\wor
ds\im
copying src\twisted\words\xish\xpathparser.g -> build\lib.win-amd64-3.6\twisted\words\xish
running build_ext
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools
": http://landinghub.visualstudio.com/visual-cpp-build-tools

----------------------------------------

Command "c:\users\user\appdata\local\programs\python\python36\python.exe -u -c "import setuptoo
ls, tokenize;file='C:\Users\user\AppData\Local\Temp\pip-build-pv2eh9ii\Twisted\setu
p.py';f=getattr(tokenize, 'open', open)(file);code=f.read().replace('\r\n', '\n');f.close()
;exec(compile(code, file, 'exec'))" install --record C:\Users\user\AppData\Local\Temp\pip-d
vh0_z0h-record\install-record.txt --single-version-externally-managed --compile" failed with er
ror code 1 in C:\Users\user\AppData\Local\Temp\pip-build-pv2eh9ii\Twisted\

試したこと

pythonは3.6.4を使用しています。エラーはMicrosoft visual C++ Build ToolsをPCに備え付ければいいと解釈したため、Microsoft Visual Studioをインストールしました。そのうえでpip install scrapy をしましたが、やはり同じエラーが出るようです。上手く行かなかったため自分がインストールしたのは全く違うものだと判断しました。Microsoft visual C++ Build Toolsはどこで入手すればよいのでしょうか?ちなみにBeautifulSoupをインストールする際にpipのバージョンが古かったため最新版にバージョンアップしています。ですのでこのエラーはpipには問題がないと思われます。アドバイスよろしくおねがいします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

まず解決すべき問題は、以下のコマンドが成功する様に環境を整える事です。

python -m pip install --user twisted

そして環境に足らないものは「Microsoft Visual C++ Build Tools」です。(ここは認識されているかと思います。)

で、そのインストールの具体的な方法については公式のドキュメントが存在します。https://wiki.python.org/moin/WindowsCompilers#Microsoft_Visual_C.2B-.2B-_14.0_standalone:_Visual_C.2B-.2B-_Build_Tools_2015_.28x86.2C_x64.2C_ARM.29

Visual C++ Build Tools 2015 was upgraded by Microsoft to Build Tools for Visual Studio 2017. See the previous paragraph to install it.

ただし上記の様に現時点では2015ではなく2017をインストールするべきなので、こちらを参照します。https://wiki.python.org/moin/WindowsCompilers#Microsoft_Visual_C.2B-.2B-_14.0_standalone:_Build_Tools_for_Visual_Studio_2017_.28x86.2C_x64.2C_ARM.2C_ARM64.29

後は以下の点に注意しながらBuild Toolsのインストールを進めてください。

  • The setuptools Python package version must be at least 34.4.0. (不安であればpipでsetuptoolsをアップグレードしておくと良いと思います。)
  • Check Windows 8.1 SDK and Windows 10 SDK options. (これは2015の方にしか無い注意書きなんですが、Build Toolsのインストールウィザード中にこういった選択肢がないか注意深く観察しながらインストールしてください。)
  • Build Toolsのインストールが終わったら環境変数やレジストリの事もあるので、念のためにPCを再起動してからその後の作業を進める事をお勧めします。)

これまでにPCに変な環境変数を設定していなければ、これで環境は整うはずです。

投稿2018/03/27 12:40

YouheiSakurai

総合スコア6142

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

chapin

2018/03/30 10:29

明確なアドバイスありがとうございました。アドバイスの通り色々アレンジして試してみましたが、結論としてscrapyはインストールできませんでした。しかし以前のエラーではなくなりました。またご指摘の通り、twistedのインストールがうまくいかないために引っかかっていることがはっきりしました。それがわかったため心理的に楽になりました。ありがとうございます。エラーは ーーーー途中からーーーーーーーーーーーーーーーーー Installing collected packages: Twisted, scrapy Running setup.py install for Twisted ... error Exception: Traceback (most recent call last): File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\compat\__ini t__.py", line 73, in console_to_str return s.decode(sys.__stdout__.encoding) UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 3: invalid start byte During handling of the above exception, another exception occurred: Traceback (most recent call last): File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\basecommand. py", line 215, in main status = self.run(options, args) File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\commands\ins tall.py", line 342, in run prefix=options.prefix_path, File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\req\req_set. py", line 784, in install **kwargs File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\req\req_inst all.py", line 878, in install spinner=spinner, File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\utils\__init __.py", line 676, in call_subprocess line = console_to_str(proc.stdout.readline()) File "c:\users\user\appdata\local\programs\python\python36\lib\site-packages\pip\compat\__ini t__.py", line 75, in console_to_str return s.decode('utf_8') UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 3: invalid start byte このような感じです。私はwindows 7のOSを使っています。”Check Windows 8.1 SDK and Windows 10 SDK options.”こちらを探してインストールするようにアドバイス頂きまして私試させていただきました。結果はエラーが出てしまいます。私が思ったのはBuild Toolsのインストールウィザード中にwindows 7用の選択肢がないため、うまくいかないのかなと思っています。ですのでwindows 10 を購入することで解決できるのではないかと思っています。この判断はおかしいでしょうか?重ね重ね質問する形になり申し訳ございません。パソコン関係の知識が追いついていないため、質問するに価しない質問をしていましたら申し訳ございません。
YouheiSakurai

2018/03/30 14:14

今はpipのバグで引っかかっている様ですね。UnicodeDecodeErrorとpipで検索するとteratail内でもたくさん同じ様なエラーメッセージが見つかると思います。探してみてください。
chapin

2018/03/30 14:26

OSが問題ではないということでしょうか。勘違いがわかり良かったです。ありがとうございます!UnicodeDecodeErrorとpipの辺りを調べます。この度は親身にありがとうございました。
guest

0

「Microsoft Visual C++ 14.0 is required」でぐぐると、どうやらVisualC++2015再配布パッケージを入れるというはなしだそうです

https://www.microsoft.com/ja-jp/download/details.aspx?id=52685

試してみてください

投稿2018/03/27 11:23

y_waiwai

総合スコア87719

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問