質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

680閲覧

Pythonで開いたページのURLを次のコードで指定したい

pythonbegginer

総合スコア25

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2020/03/25 09:22

編集2020/03/26 09:39

Python初めて数日の初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

色々教えてもらいながら途中までできたのですが、つまづいているので詳しい方教えて下さいm(__)m

※Windows10のコマンドプロンプトから実行しています。

★やりたいこと★

食べログで「新橋」「個室」で検索したURLを開き、そのURLからの情報を元に、店舗名、URL、点数を取得したものをCSVファイルに出力したいです。

■問題■
①食べログを開いて「新橋」「個室」で検索するコード
②店舗名、URL、点数を取得したものをCSVファイルに出力するコードを

別々には完成したのですが、合わせるとうまくいきません。
①で食べログで検索したページのURLを②のコードで指定したいです。

★使用しているコード★
import requestsから②番目のコードになります。
個別で実行する際、url=部分を指定のurlを書いているとちゃんと取得、出力できるのですが・・・涙

Python

1import time 2 3from selenium import webdriver 4 5driver = webdriver.Chrome() 6driver.get("https://www.tabelog.com") 7 8elem_search_word = driver.find_element_by_name("sa") 9elem_search_word.send_keys("新橋") 10 11elem_search_word2 = driver.find_element_by_name("sk") 12elem_search_word2.send_keys("居酒屋") 13 14elem_search_word2.submit() 15 16time.sleep(5) 17 18elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank") 19elem_rank.click() 20 21import requests 22from bs4 import BeautifulSoup 23 24#食べログのURL 25url = driver.current_url 26 27#タグ取得 28response = requests.get(url) 29soup = BeautifulSoup(response.content, 'html.parser') 30restrants = soup.find_all("div", class_="list-rst__wrap js-open-new-window") 31 32#テーブル作成 33table = [] 34 35for restrant in restrants: 36 shopname = restrant.find("a", class_="list-rst__rst-name-target cpy-rst-name") 37 star = restrant.find("span", class_="list-rst__rating-val") 38 table.append([shopname.get_text(), shopname["href"], star.text]) 39 40import pandas as pd 41 42Column = ['店舗名', 'URL', '点数'] 43 44# データフレームを作成 45df = pd.DataFrame(table,columns=Column) 46 47# CSV ファイル出力 48df.to_csv(r"C:\python/tabelog.csv",encoding='utf_8_sig')

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

seleniumからそのままHTMLを渡すと、URLをseleniumで取得して、
再度requests.get(url)でアクセスする処理を省略できます。

python

1soup = BeautifulSoup(driver.page_source, 'html.parser')

エラーメッセージを見るとget_textがうまくいっていないようです。
NoneTypeということはテキストが入ったデータを取得できていないと思われます。

error

1File "ファイルパス.py", line N行目, in <module> 2 table.append([shopname.get_text(), shopname["href"], star.text]) 3AttributeError: 'NoneType' object has no attribute 'get_text'

新しい操作を加えたり、エラーが出たりする場合には下を必ず確認します。

  1. HTML
  2. 変数の中身をprint
  3. エラーメッセージを読む
  4. Pythonやライブラリのドキュメント

投稿2020/03/31 15:12

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

pythonbegginer

2020/04/06 01:51

いつも丁寧な回答ありがとうございます^^ 本当に助かっています。やってみます!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問