requests import

Question

python3.8.2でスクレイピングをしようと下記のコードを試したのですがエラーが出てしまいます。
import requests,bs4
url="https://中略
res=requests.get(url)
soup=bs4.BeautifulSoup(res.text,"html.parser")

index=soup.select("#toc")
for i in index:
print(i.getText())

エラー内容
ModuleNotFoundError: No module named requests

pipでrequestsはインストールしたのですが上記のエラーになってしまいます。

初心者ですが何卒よろしくお願いいたします。

Comments

[quickquip]

コードをどうやって動かしていますか

[taka999]

pythonのIDLEを起動して
まずエディタにコードを書きそのあとシェルに実行結果を表示しています。

Answer 1

初心者でありがちなのは、
・複数のPythonをインストールしている
・一方のPythonでパッケージをインストールした
・他方のPythonでそれを使おうとして見つからない
です。

Comments

[taka999]

ご回答ありがとうございます。

ターミナルでpip3 show pipと調べた所
Location: /Users/.pyenv/versions3.8.2/lib/python3.8/site-packages

と表示されていました。

python3.8.2にpip3が入っていると思われるのですが違っているのでしょうか？

また違うpython2を持っていますがターミナルではpython3.8.2と表示されています。

[otn]

回答が通じてないのですかね？

・Pythonを複数インストールしましたか？その場合は具体的にどうやってインストールしましたか？
・pip install requests は具体的にどうやって実行しましたか？
・エラーになったプログラムは具滝的にどうやって実行しましたか？

あるいは、複数のPyhonをインストールしたのかどうかが分からないと言うことですか？

[taka999]

・pythonは複数インストールし2つともhttps://www.python.org/downloads/からインストールしました。
・pip install requestsはmacのターミナルから実行しました。
・プログラムはpythonのエディタから入力し実行しています。

[otn]

> ・pythonは複数インストールし2つともhttps://www.python.org/downloads/からインストールしました。
具体的に書いてください。

> ・プログラムはpythonのエディタから入力し実行しています。
「pythonのエディタ」というのは、Macのターミナルから python とだけ打ち込んで起動した場合の対話型の実行状態、つまり、
Type "help", "copyright", "credits" or "license" for more information.
>>>
とか出てくるやつのことですか？

[taka999]

・macのSafariからhttps://www.python.org/downloads/にアクセスし2.7を初めにインストールしその後3.8.2をインストールしています。

・Type "help", "copyright", "credits" or "license" for more information.
>>>
とか出てくるやつのことですか？

正にその通りです。

[otn]

> Location: /Users/.pyenv/versions3.8.2/lib/python3.8/site-packages
最初のコメント見ると、pyenvもインストールしているようなのですが？

[taka999]

大変失礼しました。
調べたところ
python2はmacのSafariからhttps://www.python.org/downloads/にアクセスしインストールしました。

python3はまずpyenvをインストールしターミナルから
pyenv install --list
pyenv install 3.8.2
でpython3をインストールしています。

そのあとターミナルから
pyenv global 3.8.2
と入力してpython3に切り替えています。

[otn]

type -a pip
type -a python
pip --version
python --version
pip list | grep requests
python -c "import requests;print(requests)"
の結果はどうですか？

[taka999]

type -a pip
>pip is /Users/.pyenv/shims/pip

type -a python
>python is /Users/.pyenv/shims/python
python is/usr/bin/python

pip --version
>pip 20.0.2 from /Users/.pyenv/versions/3.8.2/lib/python3.8/site-packages/pip （python 3.8）

python --version
>python 3.8.2

pip list | grep requests
> -bash: prep: command not found
ERROR: Pipe to stdout was broken
Exception ignored in: <_io.TextIOWrapper name='<stdout>' mode='w' encoding='utf-8'>
BrokenPipeError: [Errno 32] Broken pipe

python -c "import requests;print(requests)"
> <module 'requests' from '/Users/.pyenv/versions/3.8.2/lib/python3.8/site-packages/requests/__init__.py'>

以上の内容になります。

[otn]

整合性は取れてそうです。grepはタイプミスのエラーが出てますね。

コマンドラインから、pythonで起動してオプション-cでimport requestsが成功しているので、
コマンドラインから、pythonでオプション無しで起動して、
>>>
にimport requestsを入れても同じように成功するはずです。

[taka999]

成功しスクレイピングできました！

本当にありがとうございました！