質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.92%

python スクレイピング できない

解決済

回答 4

投稿

  • 評価
  • クリップ 0
  • VIEW 424

python初心者です

IDLEを使用して、スクレイピングを実行すると

Traceback (most recent call last):
File "/Users/user/Documents/test.py", line 2, in <module>
from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

こういったエラーが出ます
sudo pip3 install beautifulsoup4
sudo pip3 install bs4
で正常にこの二つはインストールされています

いろいろ調べてみたのですが、もしかするとインストールに使用したpythonと実行に使用しているpythonのversionが異なっているかもしれません。

その場合のpythonのversionを揃える方法が知りたいです。

言葉足らずかもしれないので、その際はご指摘ください。

import urllib.request
from bs4 import BeautifulSoup


class Scraper:
    def __init__(self,site):
        self.site = site

    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = "html.perser"
        sp = BeautifulSoup(html,parser)
        for tag in sp.find_all("a"):
            url = tag.get("href")
            if url is None:
                continue
            if "html" in url:
                print("\n" + url)

news = "https://news.google.com/"
Scraper(news).scrape()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • coco_bauer

    2020/10/29 19:57

    「No module named 'bs4'」と言われるのは、bs4がインストールされていないからだと思います。
    「bs4なんて名前のモジュールは無い!」というエラーなのですから。

    「この二つはインストールされています」というのは、どのようにして確認したのでしょうか?

    キャンセル

  • sekiryuuuu__uu

    2020/10/29 20:11

    pip list で確認したところ

    beautifulsoup4 4.9.3
    bs4 0.0.1

    このようにちゃんと確認はできるんです、、。

    キャンセル

回答 4

checkベストアンサー

0

モジュールの名称と名前が異なることがあります。
たとえば、Pillow というモジュールは 'from PIL import Image' と使います。ですので、

$ pip install PIL

では、インストールできません。

$ pip install Pillow

と正しいモジュール名を指定する必要があります。ちなみにモジュールの名称は、大文字小文字は区別しないので、 pillow でも大丈夫です。

ということで、私は BeautifulSoup4 は知っていましたが、 bs4 というモジュールがなにか知らなかったので調べました。(pypi.orgで)

This is a dummy package managed by the developer of Beautiful Soup to prevent name squatting. The official name of PyPI’s Beautiful Soup Python package is beautifulsoup4. This package ensures that if you type pip install bs4 by mistake you will end up with Beautiful Soup.

とありました。ということで、まず、このモジュールはいらない。
(余談ですが、これに引っかかっている時点で不安を感じる。)

Windows を使用していて、そこに Python をインストールして、 IDEL というアイコンをクリックして実行しているのですよね?(環境を一切書いていないので、わからない。はじめ、 IDEL ってなんだ?って思いました。)

なのに、 sudo を使ってインストールしているって、どういうことですか? Windows に sudo というコマンドはありません。UNIX には sudo コマンドがありますので、もしかして Windows Subsystem on Linux にある python に package をインストールしているのかな?(これも環境が書いていないのでわからない。)

バージョンを揃えるやりかたを教えてください。

言っている、意味がわからない。異なるバージョンではなく、異なる環境ではないですか?
venv: Python 仮想環境管理 を読んで理解してください。 virtual environment とはなにか、の説明が書いてあって、よい記事です。

Beautifulsoup4 がある環境で、その test.py を実行すれば動きます。

これ以上、この質問に答えることができません。
答えたら、スクレイピング とか Beautifulsoup4 などとの関係が、一切なくなりますから。(質問の題名と内容を変えてほしい。)

python初心者です

パソコン初心者の間違いではないでしょうか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

その場合のpythonのversionを揃える方法が知りたいです。 

複数のPythonをインストールしているのにそれを適切に使い分けられないと言うことなら、1つを残して他のPythonを全部アンインストールして、それから最初からやれば良いです。

それでもよく分からないと言うことであれば、Python関係を全部アンインストールして、1つだけPythonをインストールすれば良いです。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/10/29 20:13

    pythonが現在どれだけインストールされているのか確認するコマンドはありますか。

    キャンセル

  • 2020/10/29 20:16

    find / -type f -name python -print
    で、ディスク全体の中を探して、pythonという名前のファイルが表示されます。

    キャンセル

  • 2020/10/29 20:18

    アンインストールするのは、どうやってインストールしたのか分かってないと出来ませんが、大丈夫でしょうか?

    キャンセル

0

仮想環境をお勧めします。
venv --- 仮想環境の作成

$ python3 -m venv ./venv
$ source ./venv/bin/activate
$ pip3 install beautifulsoup4
$ pip3 install lxml
$ python -m idlelib.idle

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

python --version
もしくは
python3 --version
でバージョンが表示されます。
また
pip3 --version
pythonのバージョンを含む表示がされると思います。

pip3を使っているところから考えると、python3系で実行したいはずですので、python3 xx.pyで実行すると動くかもしれません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る