指定した単語が存在するWebページからスクレイピング(python)

#【実行環境および使用言語】
-CentOS 7
-Python 2.7.5

#【やりたいこと】
次のような操作を行いたいと考えております。

①とあるWebページからURL一覧を取得する（スクレイピング？）
②予め設定しておいたとある単語と一致する単語がないか取得したURL一覧先の全ページから調べる
③一致する単語がある場合、指定した要素を取得する

例）
設定単語『スイカ』
→取得したURL先の全てのページから『スイカ』という単語が含まれたものがあるか調べる
→『スイカ』という単語がある全てのページから『タイトル』や『画像』といったデータを取得する

#【進捗】
現在は指定したサイトのクラスからURLを抽出しようとしています。
※以前の【AttributeError: 'NoneType' object has no attribute 'get'】が出て来るエラーは直りました。ありがとうございます。(8/18追記)
###ソースコード

python
1# coding: UTF-8
2import requests
3from bs4 import BeautifulSoup
4
5response = requests.get('URL')
6#HTMLを取得して変数へ格納
7
8soup = BeautifulSoup(response.text,'lxml')
9#lxmlというツールでresponse.textを変換、スクレイピングできる形にして変数へ格納
10
11Cdata = soup.find_all("div", class_="クラス名")
12
13for x in Cdata:
14	Udata = x.get("href")
15	print (Udata)

###エラー
「None」と表示され、URLの取得ができません。
指定したクラス内に実際に存在するはずなのですが・・・

以上、よろしくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

スクレイピング python

スクレイピングはスクレイピングの対象サイトにかなり依存します。
JavaScriptを使ったSPA(Single Page Application)→Chromeドライバー & selenium
静的なページ…requestsモジュール
スクレイピングフレームワークを使いたい→Scrapy or フリーソフト

まず、ソースコードを記述して、詰まった時にやりたい事をピンポイントで質問すると回答が付きやすいかと。
あと「とあるページ」がどこか分かりませんが、グーグルやツィッターなどの大手サイトは機械的なアクセス（スクレイピング/クローリング)を規約により禁止しているので、その旨ご注意を。

AttributeError: 'NoneType' object has no attribute 'get'

グーグル翻訳
AttributeError： 'NoneType'オブジェクトには属性 'get'がありません

soup.find('a',class_='クラス名') # <=この結果がNone(要素を取得できていない)です。

Python
1# print文を追加してクラス名が正しいかをを確認してくださいな。
2print(response.text)
3# 変数名が違います。responsew.text => response.text
4soup = BeautifulSoup(response.text,'lxml')