Pythonスクレイピング ModuleNotFoundError: No module named 'bs4'のエラー表示

Question

前提・実現したいこと

Pythonでスクレピングの学習をしています
参考書に書かれている通り、スクレイピングをしたいです

いろいろ調べましたが、bs4のインストールもできています

発生している問題・エラーメッセージ

bs4モジュールがないと、エラーが表示されます

該当のソースコード

#全体のコードです
import urllib.request
from bs4 import BeautifulSoup

class Scraper:
  #スクレイピング対象となるWebサイトのURLを受け取る。引数を受け取る
    def __init__(self, site):
        self.site = site

  #スクレイピングしたいタイミングで、このメソッドを呼び出す
    def scrape(self):
      #urlopen関数はWebサイトへのリクエストを行う。Responseオブジェクトが返され、この中でHTMLと追加情報が格納されている
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = "html.parser"
        #BeautifulSoupオブジェクトにHTML変数とHTMLをパースして欲しいことを伝える
        sp = BeautifulSoup(html, parser)
        #find_allメソッドはイテラブルなオブジェクト・・・条件に合うHTML要素を取得する
        #<a></a>タグを全て集めて返す様に伝える
        for tag in sp.find_all("a"):
          #ループが回る度に変数tagに新しいTagのオブジェクトが代入される
          #ここで必要なのはURLが代入されているhrefインスタンス変数
            url = tag.get("href")
            if url is None:
                continue
            if "html" in url:
                print("\n" + url)

news = "https://news.google.com/"
Scraper(news).scrape()

#結果
ModuleNotFoundError: No module named 'bs4'

試したこと

いろいろ調べながら確認しましたが、インストールはされている様です
pip list
pip install beautifulsoup4
pip freeze

などをして確認しました
以下に表示されたのを記載します

補足情報（FW/ツールのバージョンなど）

bs4 0.0.1
beautifulsoup4==4.6.0
Mac OSです

Comments

[otn]

pythonを複数インストールとかしていませんか？

Answer 1

原因はわかりませんでした
ですが、こちらはVsCodeで書いており、PyCharmにしたら問題なくできました

Answer 2

モジュールをimportできないという質問が多いのですが、複数のpythonがインストールされていて別のpythonにインストールされたモジュールをimportしていることが良くあります。

それをチェックするためのプログラムを作ったので、これで確認してみてください。

import sys
import os

if os.name == 'nt':
    s = '\'
else:
    s = '/'

def check_module(m):
    for path in sys.path:
        for candidate in [s.join([path, m+'.py']), s.join([path, m, '__init__.py'])]:
            if os.path.exists(candidate):
                print(candidate)
                return
    print(f'Module: {m} is not exist in {sys.path}')
    return

if __name__ == '__main__':
    if len(sys.argv) >1:
        check_module(sys.argv[1])
    else:
        print(f'usage: python {sys.argv[0]} module')

上のソースをcheck_module.pyと言う名前で作成してください。

Linuxでの実行例

$ python check_module.py bs4
/home/ppaul/.pyenv/versions/anaconda3-2020.07/lib/python3.8/site-packages/bs4/__init__.py
$ python check_module.py bs5
Module: bs5 is not exist in ['/home/ppaul/python_sample/check_module', '/home/ppaul/.pyenv/versions/anaconda3-2020.07/lib/python38.zip', '/home/ppaul/.pyenv/versions/anaconda3-2020.07/lib/python3.8', '/home/ppaul/.pyenv/versions/anaconda3-2020.07/lib/python3.8/lib-dynload', '/home/ppaul/.pyenv/versions/anaconda3-2020.07/lib/python3.8/site-packages']

Windowsでの実行例

> python check_module.py bs4
C:\Users\ppaul\anaconda3\lib\site-packages\bs4\__init__.py
> python check_module.py bs5
Module: bs5 is not exist in ['C:\Users\ppaul\python_sample\teratail\check_module', 'C:\Users\ppaul\anaconda3\python38.zip', 'C:\Users\ppaul\anaconda3\DLLs', 'C:\Users\ppaul\anaconda3\lib', 'C:\Users\ppaul\anaconda3', 'C:\Users\ppaul\anaconda3\lib\site-packages', 'C:\Users\ppaul\anaconda3\lib\site-packages\win32', 'C:\Users\ppaul\anaconda3\lib\site-packages\win32\lib', 'C:\Users\ppaul\anaconda3\lib\site-packages\Pythonwin']

これでnot existが出たら、そのコンソールからインストールしてください。

Jupyterとかを使っているなら、確か

import sys
import os

if os.name == 'nt':
    s = '\'
else:
    s = '/'

def check_module(m):
    for path in sys.path:
        for candidate in [s.join([path, m+'.py']), s.join([path, m, '__init__.py'])]:
            if os.path.exists(candidate):
                print(candidate)
                return
    print(f'Module: {m} is not exist in {sys.path}')
    return

check_module('bs4')

と打ち込めばチェックできるはずです。

Comments

[hiro.a]

check_module.pyで作成して
python check_module.py bs4を実行したら、
can't open file 'check_module.py': [Errno 2] No such file or directory
check_module.pyファイルはありませんと出るのですが、これの理由はわかりますか？

[ppaul]

import os
os.getcwd()

を実行して、表示されるディレクトリにcheck_module.pyがあることを確認して下さい。

[hiro.a]

実行例の通り、python check_module.py bs5で
Module: bs5 is not exist in コンソールから新たにインストールを実行しました

すでにインストールされている様ですが、モジュールが無い様です
インポートされているパスが違う可能性がある？

[ppaul]

Module: bs5 is not exist in ・・・
は存在しません。インストールする必要もありません。
見つからないときには、こういうメッセージが出る、ということを示すための実行例ですので無視して下さい。
bs4は存在しましたか？

[hiro.a]

$ python check_module.py bs4は
/Users/XXX/.pyenv/versions/3.8.2/lib/python3.8/site-packages/bs4/__init__.pyされました

[ppaul]

不思議ですね。
sys.pathのどれかのディレクトリの下にbs4があり、その中に__inint__.pyがあるのですから、bs４はimportできるはずです。
では、check_module.pyの最初の行に
from bs4 import BeautifulSoup
を入れて、再度 $ python check_module.py bs4
をやってみてください。これでエラーが出なければ、importできるということが確認できます。

[hiro.a]

/Users/hiromu/.pyenv/versions/3.8.2/lib/python3.8/site-packages/bs4/__init__.py
できている様です

[ppaul]

では、hiro.aさんの作ったソースコードをこのディレクトリに置いて、同じように動かせば、bs4モジュールがないというエラーは出なくなりますね。

[hiro.a]

ですよね。やってみたのですが変わらずです。。。

[ppaul]

確認ですが、hiro.aさんの作ったソースコードの1行目は
#!/usr/bin/python
のような行ではないですね。もしそうならその行を消して下さい。
そうでなければ、check_module.pyの一番最初に以下の文を入れてください。
import sys
print(sys.version)
このあと、
$ python check_module.py
を実行すると、
'3.8.3 (default, Jul 2 2020, 17:30:36) [MSC v.1916 64 bit (AMD64)]'
のようなものが表示されます。
同じようにhiro.aさんの作ったソースコードの最初のところにも
import sys
print(sys.version)
を入れて
$ python hiro_a.py
を実行して先ほどの結果と見比べてください。
同じでないとすると非常に不思議です。

[hiro.a]

同じ
3.8.2 (default, Jun 11 2020, 12:08:21)
[Clang 11.0.3 (clang-1103.0.32.29)]が表示しました！

[ppaul]

同じだとすると、それも不思議ですね。
hiro.aさんのソースコード全体を、check_module.pyの一番下に貼り付けて動かしてみますか。それで動いたらまた不思議が増えてしましますが、やってみてください。

[hiro.a]

ありがとうございます。試してみます
ちなみに今Pycharm(前までVscode)で実行しましたら、ModuleNotFoundError: No module named 'bs4'は表示されず
実行結果無しが出ました。

IDE変えたら変わるものですかね？