質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ubuntu

Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1144閲覧

Ubuntuとpythonを使いスクレイピングしたい。

too_mi

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ubuntu

Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2020/08/08 10:55

pythonを使用し、Googleニュースをスクレイピングするために、BeautifulSoupをUbuntuでインストールしようとしています。
"sudo pip3 install beautifulsoup4==4.6.0"のコマンドを入力し、本来であればインストールは成功し"Successfully installed beautifulsoup4-4.6.0"と表示されるはずなのですが、次のエラーが出てしまいました。

WARNING: The directory '/home/taro/.cache/pip' or its parent directory is not owned or is not writable by the current user. The cache has been disabled. Check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
Requirement already satisfied: beautifulsoup4==4.6.0 in /usr/local/lib/python3.6/dist-packages (4.6.0)

上記は何が原因なのでしょうか。

また、スクレイピングするために書いたコードをUbuntuにて実行する方法が分かりません。

ご教授願います><

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

quickquip

2020/08/08 10:59

答えが質問に書いてあるのですが? The directory '/home/taro/.cache/pip' or its parent directory is not owned or is not writable by the current user. The cache has been disabled. Check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
meg_

2020/08/08 11:29

> Googleニュースをスクレイピングするために 上記サイトはスクレイピング禁止ではありませんか?
dameo

2020/08/09 02:52

@meg_ そうなのですか?そもそもGoogleのコンテンツにスクレイピングそのものを禁止しているものがあるという見解には違和感があります。Google自身がそもそもそれをして生計を立ててるわけですからね。 質問そのものに関係ないので恐縮ですが、良かったら、簡単にどの辺にそう考える根拠があるのか教えて下さい。
aokikenichi

2020/08/10 09:05

https://www.google.com/intl/ja_jp/terms_mobile_news.html Webサイトで大きなサービスですとほとんどの場合「利用規約」があり、それにのっとらないとダメです。 そしてGoogleを問わず大きなサービスの場合スクレイピングを禁止している場合が多いです。
Penpen7

2020/08/10 12:19 編集

利用規約に関しては、同意のボタンをクリックさせないと効果はないですが、Google含め禁止されているサイトでスクレイピングをしてもIPアドレスをブロックされるのがオチですね。GoogleではAPIが整備されているのでそちらを使った方がいいです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問