たびたびお世話になってます。
やりたいこととしては
chromeを起動しgoogleでダイエットを検索
検索した時に出る広告を取得し、スクリーンショットを撮る。
ですが、広告のタイトルと本文のところを取得したいのですが
本文が取得できません。
なにが原因かわからないのですがclass名にスペースが入っているのが原因ではないかと思ったり・・・
すみませんが改善案をご教示願います。
python
1import os 2from selenium import webdriver 3from selenium.webdriver.common.keys import Keys 4from time import sleep 5from bs4 import BeautifulSoup 6 7# URL & File Name 8URL = "https://www.google.com" 9FILENAME = os.path.join(os.path.dirname(os.path.abspath(__file__)), "screen.png") 10 11# Open Web Browser & Resize 720P 12driver = webdriver.Chrome() 13driver.maximize_window() 14driver.get(URL) 15 16driver.find_element_by_id("lst-ib").send_keys("ダイエット") 17driver.find_element_by_id("lst-ib").send_keys(Keys.ENTER) 18html_source = driver.page_source 19bs_obj = BeautifulSoup(html_source, "html.parser") 20#テーブルを指定 21table = bs_obj.select(".ads-ad") 22for row in table: 23 csvRow = [] 24 TextTable = row.select(".ad_cclk") 25 for Text in TextTable: 26 csvRow.append(Text.get_text()) 27 #ここが取れない?↓ 28 TextTable = row.select(".ellip ads-creative") 29 for Text in TextTable: 30 print("row") 31 csvRow.append(Text.get_text()) 32 33 print(csvRow) 34 35sleep(5) 36# Get Screen Shot 37driver.save_screenshot(FILENAME) 38sleep(5) 39# Close Web Browser 40driver.quit() 41
Html
1 2<li class="ads-ad" data-hveid="36"> 3 <div class="ad_cclk"> 4 <h3> 5 <a style="display:none" href="/aclk?sa=l&ai=DChcSEwijq8G6xIHZAhWZCioKHU_vAZIYABAAGgJ0bQ&sig=AOD64_0EfshrhwreYNgAzTywEu-q1mKeiA&q=&ved=0ahUKEwj1wLy6xIHZAhWMS7wKHZlJCp4Q0QwIJQ&adurl=" id="n1s0p1c0"> 6 </a> 7 <a class="_Jwu r-i45Je2PzDYpg" href="http://perfect-line.jp/lp/shinjyuku/" id="vn1s0p1c0" onmousedown="return google.arwt(this)" ontouchstart="return google.arwt(this)" data-preconnect-urls="http://perfect-line.jp/" jsl="$t t-zxXzjt1d4B0;$x 0;"> 8 ダイエットならセルライト潰し | 【永久保証】19,800円で通い放題 9 </a> 10 </h3> 11 </div> 12 <div class="ads-visurl"> 13 <span class="_mB"> 14 広告 15 </span> 16 <cite class="_WGk">www.perfect-line.jp/セルライト潰し/ダイエット</cite><span class="_uIk"> 17 <span data-async-context="wtad:CqQCCAEQARgBIAGaAQ9wZXJmZWN0LWxpbmUuanDCAQ9wZXJmZWN0LWxpbmUuanDqAe8BW251bGwsbnVsbCxudWxsLG51bGwsWzEsbnVsbCxbWyJ3d3cucGVyZmVjdC1saW5lLmpwL-OCu-ODq-ODqeOCpOODiOa9sOOBly_jg4DjgqTjgqjjg4Pjg4giXQosInBlcmZlY3QtbGluZS5qcCIsInBlcmZlY3QtbGluZS5qcCJdCiwyLG51bGwsbnVsbCxudWxsLG51bGwsW1siMTk5MjcwOTA0MzA0Il0KLFsiMTUxNzM3ODc4MjM4NTU3MSIsMTcwNTI3Mzg1LC0xODQ1MzY2OTYxXQosIuODgOOCpOOCqOODg-ODiCJdCl0KXQqKAgJzOA%3D%3D" data-async-trigger="wta_async_s8" jsaction="menu_item_selected:r.Xx1sV_Jzb9Q" data-rtid="iBmliOylbnL4" jsl="$t t-FcRZKOABPPk;$x 0;" class="r-iBmliOylbnL4"> 18 <div class="iBmliOylbnL4-8Fk4a8EszjQ _his y yp" id="wta_async_s8" data-jiis="up" data-async-type="wta" data-async-context-required="wtad"> 19 </div> 20 <div class="action-menu _ZGs _oKk" title="広告の表示について" aria-label="広告の表示について" role="button" tabindex="0" jsaction="r.crkNEEZsxco" data-rtid="iBmliOylbnL4" jsl="$x 2;" data-ved="0ahUKEwj1wLy6xIHZAhWMS7wKHZlJCp4QtpYBCCY"> 21 <span class="mn-dwn-arw" id="_qjs"> 22 </span> 23 </div> 24 </span> 25 </span> 26 </div> 27 <div class="ellip ads-creative"> 28 【新宿東口店】39日間返金保証、絶対に 29 <b>ダイエット</b> 30 成功したい人におすすめ 31 </div> 32 <div class="ellip"> 33 女性専用セルライト潰し · 安心の39日間返金保証 · 通い放題太もも19,800円 34 </div> 35</li>
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/01/31 06:57