質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

4074閲覧

BeautifulSoupでGoogle検索結果のタイトルとリンク先を取得する方法

退会済みユーザー

退会済みユーザー

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/04/18 23:42

前提・実現したいこと

一応、動きますが不格好な書き方をしている気がしています。
もう少しきれいなコードの書き方があれば、ご教授いただきたいです。よろしくお願いいたします。

発生している問題・エラーメッセージ

特に発生していません。たぶん。。

該当のソースコード

python

1import requests 2import bs4 3import re 4from time import sleep 5import urllib 6 7url="https://www.google.co.jp/search?q=アップル" 8 9get_url_info = requests.get(url) 10bs4Obj = bs4.BeautifulSoup(get_url_info.text, 'lxml') 11 12for page_title in bs4Obj.select("h3.r a"): 13 print(page_title.get_text()) 14 raw_page_url = page_title.get("href").replace("/url?q=", "") 15 unquote_page_url = urllib.parse.unquote(raw_page_url) 16 print(re.sub(r'&sa=.+', "", unquote_page_url)) 17 sleep(5)

補足情報(FW/ツールのバージョンなど)

AnacondaのSpyderで作業しています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

私ならこうかな。

python

1from urllib.parse import parse_qsl 2from urllib.parse import urlparse 3 4from bs4 import BeautifulSoup 5from requests import get as GET 6 7 8html = GET("https://www.google.co.jp/search?q=アップル").text 9bs = BeautifulSoup(html, 'lxml') 10 11for el in bs.select("h3.r a"): 12 title = el.get_text() 13 url = dict(parse_qsl(urlparse(el.get("href")).query))["q"] 14 print(title) 15 print(" ", url)

投稿2018/04/19 04:34

編集2018/04/19 04:35
YouheiSakurai

総合スコア6142

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/04/19 05:53 編集

かなりスッキリとしました!ご回答ありがとうございます。 質問とずれますが、Pythonの勉強ってどのようにされておられるんですか? 今回のコードはネットで探してコピペして作成したものですが、YouheiSakuraiさんにご教授いただいたようなものには行き当たりませんでした。(探す時間が足りない。探し方が悪いという事もありますが。。)
YouheiSakurai

2018/04/19 06:43

常に書いて、書き方を工夫するようにしています。あとは読む努力もしています。標準ライブラリのコードは暇な時に読むようにしています。あとはteratailでいろんな質問に対して考えを働かせるようにしています。あと、きれいに書く上ではPEP8やFlake8(hacking)で自分を常に縛ることも大切かなぁと。 録音再生(=コピペ)ではなく、自分の言葉できれいに丁寧に話す、という感覚で書くと良いと思います。
退会済みユーザー

退会済みユーザー

2018/04/19 06:55

ご回答ありがとうございます。耳の痛いお言葉です。。。orz ・・・言い訳ですが、書籍は一応読んだりしていますが、ぜんぜん身になっていません。 ご教授いただいた事を少しでも実践できるよう、心がけたいと思います。ありがとうございました。
YouheiSakurai

2018/04/19 06:58

すいません、耳を痛めるつもりは全然ありませんでした。ただ自分はそうしているし、そうすると良いと思う、というだけです。お互い頑張りましょう!
退会済みユーザー

退会済みユーザー

2018/04/19 23:29

ご回答ありがとうございます!頑張りましょう! すいません。だなんてとんでもないです。恐縮です。。 後から見た時、「このコード何をやってんのやろ?」と自分でも解からんようなものを作らないように頑張りたいと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問