前提・実現したいこと
ITmediaのサイトで検索ボックスで[AI]と入力後、
記事のタイトルとURLが取得できなくて困っています。
参考URL:リンク内容
発生している問題・エラーメッセージ
該当のソースコード
python
from bs4 import BeautifulSoup from time import sleep from selenium import webdriver from selenium.webdriver.common.keys import Keys options = webdriver.ChromeOptions() options.add_argument('--headless') #options.add_argument('--incognito') driver = webdriver.Chrome( executable_path='/Users/genge/Desktop/python_practice/tools/chromedriver_win32/chromedriver.exe', options=options ) driver.implicitly_wait(10) driver.get('https://www.itmedia.co.jp/news/') search_box = driver.find_element_by_css_selector('.searchQuery') sleep(3) search_box.send_keys('AI') soup = BeautifulSoup(driver.page_source, 'lxml') sleep(3) search_box.submit() a_tags = soup.select('.resultTitle') sleep(3) for i, a_tag in enumerate(a_tags): print('='*30, i, '='*30) print(a_tag.select_one('a').text) print(a_tag.select_one('a').get('href')) sleep(2) driver.quit()
試したこと
検索ボックスを入力してもURLに変化がなかったためそれが原因だと考えられますが
自分では解決には至りませんでした。
補足情報(FW/ツールのバージョンなど)
すいませんがエラーコードは文字数が原因で表示できませんでした。
ご自身で実行していただけたら幸いです。
まだ回答がついていません
会員登録して回答してみよう