質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

1回答

660閲覧

検索結果のスクレイピング

Pure

総合スコア15

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

0クリップ

投稿2018/01/31 06:16

たびたびお世話になってます。

やりたいこととしては
chromeを起動しgoogleでダイエットを検索
検索した時に出る広告を取得し、スクリーンショットを撮る。
ですが、広告のタイトルと本文のところを取得したいのですが
本文が取得できません。

なにが原因かわからないのですがclass名にスペースが入っているのが原因ではないかと思ったり・・・
すみませんが改善案をご教示願います。

python

1import os 2from selenium import webdriver 3from selenium.webdriver.common.keys import Keys 4from time import sleep 5from bs4 import BeautifulSoup 6 7# URL & File Name 8URL = "https://www.google.com" 9FILENAME = os.path.join(os.path.dirname(os.path.abspath(__file__)), "screen.png") 10 11# Open Web Browser & Resize 720P 12driver = webdriver.Chrome() 13driver.maximize_window() 14driver.get(URL) 15 16driver.find_element_by_id("lst-ib").send_keys("ダイエット") 17driver.find_element_by_id("lst-ib").send_keys(Keys.ENTER) 18html_source = driver.page_source 19bs_obj = BeautifulSoup(html_source, "html.parser") 20#テーブルを指定 21table = bs_obj.select(".ads-ad") 22for row in table: 23 csvRow = [] 24 TextTable = row.select(".ad_cclk") 25 for Text in TextTable: 26 csvRow.append(Text.get_text()) 27 #ここが取れない?↓ 28 TextTable = row.select(".ellip ads-creative") 29 for Text in TextTable: 30 print("row") 31 csvRow.append(Text.get_text()) 32 33 print(csvRow) 34 35sleep(5) 36# Get Screen Shot 37driver.save_screenshot(FILENAME) 38sleep(5) 39# Close Web Browser 40driver.quit() 41

Html

1 2<li class="ads-ad" data-hveid="36"> 3 <div class="ad_cclk"> 4 <h3> 5 <a style="display:none" href="/aclk?sa=l&amp;ai=DChcSEwijq8G6xIHZAhWZCioKHU_vAZIYABAAGgJ0bQ&amp;sig=AOD64_0EfshrhwreYNgAzTywEu-q1mKeiA&amp;q=&amp;ved=0ahUKEwj1wLy6xIHZAhWMS7wKHZlJCp4Q0QwIJQ&amp;adurl=" id="n1s0p1c0"> 6 </a> 7 <a class="_Jwu r-i45Je2PzDYpg" href="http://perfect-line.jp/lp/shinjyuku/" id="vn1s0p1c0" onmousedown="return google.arwt(this)" ontouchstart="return google.arwt(this)" data-preconnect-urls="http://perfect-line.jp/" jsl="$t t-zxXzjt1d4B0;$x 0;"> 8 ダイエットならセルライト潰し | 【永久保証】19,800円で通い放題 9 ‎</a> 10 </h3> 11 </div> 12 <div class="ads-visurl"> 13 <span class="_mB"> 14 広告 15 </span> 16 <cite class="_WGk">www.perfect-line.jp/セルライト潰し/ダイエット</cite>‎<span class="_uIk"> 17 <span data-async-context="wtad:CqQCCAEQARgBIAGaAQ9wZXJmZWN0LWxpbmUuanDCAQ9wZXJmZWN0LWxpbmUuanDqAe8BW251bGwsbnVsbCxudWxsLG51bGwsWzEsbnVsbCxbWyJ3d3cucGVyZmVjdC1saW5lLmpwL-OCu-ODq-ODqeOCpOODiOa9sOOBly_jg4DjgqTjgqjjg4Pjg4giXQosInBlcmZlY3QtbGluZS5qcCIsInBlcmZlY3QtbGluZS5qcCJdCiwyLG51bGwsbnVsbCxudWxsLG51bGwsW1siMTk5MjcwOTA0MzA0Il0KLFsiMTUxNzM3ODc4MjM4NTU3MSIsMTcwNTI3Mzg1LC0xODQ1MzY2OTYxXQosIuODgOOCpOOCqOODg-ODiCJdCl0KXQqKAgJzOA%3D%3D" data-async-trigger="wta_async_s8" jsaction="menu_item_selected:r.Xx1sV_Jzb9Q" data-rtid="iBmliOylbnL4" jsl="$t t-FcRZKOABPPk;$x 0;" class="r-iBmliOylbnL4"> 18 <div class="iBmliOylbnL4-8Fk4a8EszjQ _his y yp" id="wta_async_s8" data-jiis="up" data-async-type="wta" data-async-context-required="wtad"> 19 </div> 20 <div class="action-menu _ZGs _oKk" title="広告の表示について" aria-label="広告の表示について" role="button" tabindex="0" jsaction="r.crkNEEZsxco" data-rtid="iBmliOylbnL4" jsl="$x 2;" data-ved="0ahUKEwj1wLy6xIHZAhWMS7wKHZlJCp4QtpYBCCY"> 21 <span class="mn-dwn-arw" id="_qjs"> 22 </span> 23 </div> 24 </span> 25 </span> 26 </div> 27 <div class="ellip ads-creative"> 28 【新宿東口店】39日間返金保証、絶対に 29 <b>ダイエット</b> 30 成功したい人におすすめ 31 </div> 32 <div class="ellip"> 33 女性専用セルライト潰し&nbsp;&middot;&nbsp;安心の39日間返金保証&nbsp;&middot;&nbsp;通い放題太もも19,800円 34 </div> 35</li>

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自動操作でGoogle検索を使ってはいけません。

Google の利用規約では、どのような種類かに関わらず、自動化されたクエリを Google から明示的な許可を事前に得ずに Google のシステムに送信することは禁止されています。(Googleのガイドラインより)

投稿2018/01/31 06:31

maisumakun

総合スコア145121

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Pure

2018/01/31 06:57

認識不足でした。 現在のコードは破棄します。 大変失礼しました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問