質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google API

Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

プログラミング言語

プログラミング言語はパソコン上で実行することができるソースコードを記述する為に扱う言語の総称です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Google

Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

Q&A

解決済

1回答

1277閲覧

期間内で、特定のワードの検索件数を出す方法

SkeletonFarts

総合スコア3

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google API

Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

プログラミング言語

プログラミング言語はパソコン上で実行することができるソースコードを記述する為に扱う言語の総称です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Google

Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

0グッド

0クリップ

投稿2020/10/28 04:39

最終的に実現させたいこと

現在課題研究で、情報収集アプリの開発を最終目標に現在プログラミングしています。

プログラミングの流れ

①特定のワードを入力 ➤ ②期間設定 ➤ ③期間内の検索件数を出す

例 : ①「りんご」というワードを入力 ➤ ②期間の選択(今日,昨日,一週間前の3項目) ➤ ③期間内の検索件数[りんご : ○○○件]

この流れのプログラム動作をウェブスクレイピング(Google)と、Tkinter(GUI)を用いて開発したいと思っています。

問題点

現在プログラミングをTkinterと、ウェブスクレイピングの2つに分割して作成しています。

今回はウェブスクレイピング側の問題点で、"特定のワードを入力した際の、期間内の検索件数"を出したいです。

全体のソースコード

import argparse from time import sleep from string import ascii_lowercase from string import digits import requests import urllib.parse class GoogleAutoComplete: def __init__(self, test_mode=False, recurse_mode=False): self.base_url = 'https://www.google.co.jp/complete/search?'\ 'hl=ja&output=toolbar&ie=utf-8&oe=utf-8&'\ 'client=firefox&q=' self.test_mode = test_mode self.recurse_mode = recurse_mode a = open('table_hiragana.dat','r') tango_list = ['あ','い','う','え','お','か','き','く','け','こ','さ','し','す','せ','そ','た','ち','つ','て','と','な','に','ぬ','ね','の','は','ひ','ふ','へ','ほ','ま','み','む','め','も','や','ゆ','よ','ら','り','る','れ','ろ','わ','を','ん','きゃ','きゅ','きょ','しゃ','しゅ','しょ','ちゃ','ちゅ','ちょ','にゃ','にゅ','にょ','ひゃ','ひゅ','ひょ','みゃ','みゅ','みょ','りゃ','りゅ','りょ','ぎゃ','ぎゅ','ぎょ','じゃ','じゅ','じょ','びゃ','びゅ','びょ','ぴゃ','ぴゅ','ぴょ'] for tango in a: tango = tango.rstrip() tango_list.append(tango) if test_mode: self.chrs = ['あ', 'g', '1'] else: self.chrs = [str(i) for i in tango_list] # Perlの五十音のファイルと全く同じ def get_suggest(self, query): buf = requests.get(self.base_url + urllib.parse.quote_plus(query)).json() suggests = [ph for ph in buf[1]] print("query: [{0}]({1})".format(query, len(suggests))) for ph in suggests: print(" ", ph) sleep(1) return suggests def get_suggest_with_one_char(self, query): # キーワードそのものの場合のサジェストワード ret = self.get_suggest(query) # キーワード+空白の場合のサジェストワード ret.extend(self.get_suggest(query + ' ')) # キーワード+空白+1文字の場合のサジェストワード for ch in self.chrs: ret.extend(self.get_suggest(query + ' ' + ch)) return self.get_uniq(ret) # 重複を除く def get_uniq(self, arr): uniq_ret = [] for x in arr: if x not in uniq_ret: uniq_ret.append(x) return uniq_ret if __name__ == "__main__": phrase = input('キーワードを入れてください。') # Google Suggest キーワード取得 gs = GoogleAutoComplete(recurse_mode = "--recure") ret = gs.get_suggest_with_one_char(phrase) # ファイルに保存する fname = "suggest.csv" with open(fname, 'w', encoding='UTF-8') as fs: for key in ret: fs.write(key + "\n")

実行結果(入力ワードを"りんご"とする)

コマンドプロンプトの起動した際
イメージ説明

結果↓
query: りんご
りんご
りんごちゃん
りんご音楽祭
りんごレシピ
りんごジャム
りんごカロリー
りんご飴
りんご英語
リンゴ酢
リンゴループ

query: りんご
りんごちゃん
りんごレシピ
りんごジャム
りんごカロリー
りんご娘
りんご英語
りんご病
りんご郎
りんご種類
りんごケーキ

query: りんご あ
ringo アップルパイ
ringo アップルパイ カロリー
ringo アップルパイ 値段
ringo アップルパイ 賞味期限
りんご 秋映
りんご 握力
りんご アレルギー
りんご アレンジ
りんご アップルパイ
りんご アレルギー 赤ちゃん

query: りんご い
りんご イラスト
りんご 犬
りんご 医者いらず
りんご 意味
りんご 一個 重さ
りんご イラスト 手書き
りんご 一個 カロリー
りんご イラスト かわいい
ringo 池袋
リンゴ イラスト

query: りんご う
りんごうさぎ
りんご ウイスキー
りんご ウサギ
りんご 甘煮
りんご 薄切り
りんご うさぎ リアル
りんご ウィスキー
りんご wiki
りんご うさぎ以外
りんご うさぎ イラスト

query: りんご え
りんご 英語
りんご 栄養
りんご 塩水
りんご 絵
りんご 選び方
りんご 絵本
りんご エチレンガス
りんご 絵文字
りんご 栄養成分表
りんご 塩水 なぜ

query: りんご お
りんごお弁当
りんご 重さ
りんご お菓子
りんご 折り紙
りんご おやつ
りんご 王林
りんご 大きさ
りんご お酒
りんご お菓子 簡単
りんご おかず

query: りんご か
りんご カロリー
りんご 飾り切り
りんご 皮ごと
りんご 漢字
りんご 韓国語
りんご カリウム
りんご 飾り切り バラ
りんご カクテル
りんご カロリー 写真
林檎 漢字

query: りんご き
りんご 季節
りんご 切り方
りんご きおう
りんご キャラメリゼ
りんご 希少品種
りんご 木
りんご 木箱
りんご キャラクター
りんご 切って保存
林檎 季語

query: りんご く
りんご クリームチーズ
りんご 腐る
りんご クッキー
りんご クランブル
りんご くし切り
りんご クックパッド
りんご 黒酢
りんご 黒い
りんご クリームチーズ おつまみ
ringo クーポン

query: りんご け
りんご ケーキ
りんご 健康
りんご 血糖値
りんご 血圧
りんご ケーキ 炊飯器
りんご ケーキ ホットケーキミックス
りんご ケーキ フライパン
りんご 健康 食べ方
りんご 鶏肉
ringo 京王モール

query: りんご こ
りんご コンポート
りんご 効果
りんご 紅玉
りんご 効能
りんご コンポート レンジ
りんご 香水
りんご 恋空
りんご コンポート はちみつ
りんご コンポート 日持ち
りんご 高徳

query: りんご さ
りんご サラダ
りんご さつまいも
りんご 酸化
りんご さんさ
りんご 砂糖水
りんご さつまいも ケーキ
りんご 産地
りんご サンつがる
りんご 栽培
りんご サンふじ

query: りんご し
りんご 旬
りんご 種類
りんご 賞味期限
りんご 収穫時期
りんご 食物繊維
りんご シナモン
りんご シナノスイート
りんご 消費
ringo 新宿
リンゴ 旬

query: りんご す
りんご スムージー
りんご スイーツ
りんご すりおろし
りんご 炊飯器
りんご スペイン語
りんご スパークリングワイン
りんご 水分量
りんご 水につける
りんご ストレートジュース
リンゴ スター

query: りんご せ
りんご 世界一
りんご 生産量
りんご 生産量 ランキング
りんご 製作
りんご 成分
りんご 千秋
りんご 製作 立体
りんご 生 いつから
りんご 生産量 世界
ringo 潜在意識

query: りんご そ
りんご 育て方
りんご 相場
りんご ソテー
りんご ソース
りんご そのまま
りんご 素材
りんご ソニア
りんご そのまま いつから
りんご 育て方 種から
りんご 送料無料

query: りんご た
りんご 大量消費
りんご タルト
りんご タルトタタン
りんご 食べ方
りんご 高い 2020
りんご 炭水化物
りんご 食べ過ぎ
りんご 高い なぜ 2020
りんご タンパク質
ringo 立川

query: りんご ち
りんごちゃん
りんごちゃん結婚
りんご 中国語
りんご チーズケーキ
りんご 茶色
りんご チョコ
りんご チーズ
りんご 長期保存
りんご 茶色くならない
りんご 茶色い

query: りんご つ
りんご 通販
りんご つがる
りんご 潰す 握力
りんご 通販 長野
りんご 通販 アマゾン
りんご つがる 特徴
りんご つくれぽ
りんご 通販 安い
りんご 通販 家庭用
リンゴ 追熟

query: りんご て
ringo 店舗
りんご 鉄分
りんご 天ぷら
りんご 定期便
りんご 手遊び
りんご 天然酵母
りんご 摘果
りんご 手づかみ
りんご 天板ケーキ
りんご 低温調理

query: りんご と
りんごとバター
りんご 糖質
りんご トキ
りんご 特徴
りんご トースト
りんご 糖度
りんご 東方
りんご 取り寄せ
ringo 豊洲
ringo 東京

query: りんご な
りんご 何科
りんご 中目黒
りんご 夏
りんご 何グラム
りんご 長野
りんご 梨
りんご 名前
りんご 長持ち
りんご 夏 値段
りんご 生クリーム

query: りんご に
りんご 煮る
りんご 握りつぶす
りんご にんじん スムージー
りんご ニュートン
りんご にんにく
りんご 妊娠中
りんご 肉
りんご ニュージーランド
りんご 人気レシピ
ringo 西麻布

query: りんご ぬ
りんご ぬか漬け
りんご 塗り絵
りんご 塗り方
りんご ぬいぐるみ
りんご 温める
りんご 布
りんごの木
りんご 塗り方 デジタル
りんご 塗り絵 イラスト
りんご ぬめり

query: りんご ね
りんご 値段
りんご 値段 高い
りんご 猫
りんご ネックレス
りんご ネイル
りんご 値上がり
りんご ネット
りんご 値段 推移
りんご 粘土
ringo 値段

query: りんご の
りんごの木
りんごのコンポート
りんごの時間
りんごの種類
りんごのパウンドケーキ
りんごの保存方法
りんご 農薬
りんご 昂林
りんご 農家直送
リンゴ 農薬

query: りんご は
りんご 花言葉
りんご 花
りんご はちみつ
りんご 半分 保存
りんご 葉っぱ
りんご はちみつ漬け
りんご 廃棄率
りんご 半分 カロリー
リンゴ 花
リンゴ ハイヒール

query: りんご ひ
りんご 品種
りんご 日持ち
りんご 品種 長野
りんご 品種 時期
りんご 品種 つがる
りんご 一つ 重さ
りんご 冷やす
ringo 日比谷
ringo 東麻布
リンゴ 品種

query: りんご ふ
りんご フランス語
りんご ふじ
りんご フリー素材
りんご 太る
りんご フィリング
りんご ふるさと納税
りんご ふじ 時期
りんご フライパン
りんご ふかふか
りんご フェルト

query: りんご へ
りんご 変色
りんご 壁面
りんご 変色 理由
りんご へた
りんご 変色 時間
りんご 壁面飾り
りんご 変色 砂糖
りんご 変色 戻す
りんご 変色 自由研究
りんご 壁面製作

query: りんご ほ
りんご 保存
りんご ホットケーキミックス
りんご 保存期間
りんご ホットケーキミックス 簡単
りんご ホットケーキミックス 炊飯器
りんご ホットケーキミックス パウンドケーキ
りんご ホットケーキ
りんご 保存 常温
りんご 北斗
りんご ホットケーキミックス ヨーグルト

query: りんご ま
りんご マフィン
りんご 丸かじり
りんご 毎日
りんご 豆知識
りんご 丸ごと
りんご 毎日 肌
りんご まずい
りんご 漫画
ringo 丸の内
ringo 麻布

query: りんご み
りんご 見分け方
りんご 蜜
りんご ミキサー
りんご 未希ライフ
りんご 味
りんご 味 表現
りんご みかん
りんご 緑
ringo ミッドタウン
林檎 みき

query: りんご む
りんご 剥き方
りんご 無農薬
りんご 蒸しパン
りんご むつ
りんご むきかた
りんご むくみ
りんご 虫歯
りんご 蒸しパン 離乳食
りんご ムース
りんご 剥き方 うさぎ

query: りんご め
りんご 名月
りんご 名産地
りんご 銘柄
りんご メタファー
りんご メイン料理
りんご 目利き
りんご メリット
りんご メニュー
ringo メニュー
リンゴ メルシー

query: りんご も
りんご もさもさ
りんご モチーフ
りんご 文字
りんご もりのかがやき
りんご 桃 掛け合わせ
りんご モールド
りんご もそもそ
りんご 桃
リンゴ 桃 アレルギー
ringo 桃

query: りんご や
りんご 焼く
りんご 焼き菓子
りんご 野菜
りんご 訳あり
りんご 柔らかい
りんご 焼肉
りんご 痩せる
りんご 安い
りんご やたか
りんご 山形

query: りんご ゆ
りんご 夢占い
りんご 弓矢
りんご 有名な県
りんご ゆるキャラ
りんご 由来
りんご 有名
りんご 輸入
りんご 茹でる
りんご 有機酸
りんご 夢ひかり

query: りんご よ
りんご ヨーグルト
りんご 陽光
りんご ヨーグルト ケーキ
りんご 夜
りんご 夜に食べる
りんご 幼児食
りんご ヨーグルト レシピ
りんご ヨーグルト スムージー
りんご 葉酸
苹果 読み方

query: りんご ら
りんご ランキング
りんご 楽天
りんご ラテン語
りんご ラム酒
りんご ランプ
りんご ライト
りんご ランキング 都道府県
りんご ラップ
りんご ランク
ringo ららぽーと豊洲

query: りんご り
りんご 離乳食
りんご 料理
りんご 離乳食 中期
りんご 離乳食 後期
りんご リキュール
りんご 離乳食 レンジ
りんご 離乳食 レシピ
りんご 離乳食 いつから
りんご 離乳食 ブレンダー
リンゴ 料理・・・省略

改善点

"りんご"とそれに関する"関連ワード"を結果として出していますが、

最終的には下記のようにしたいと思います。

①期間を選択する(今日,昨日,1週間前)
②"りんご"というワードの検索件数をGoogleから引き出す。(関連ワードを除く、exりんご +"関連ワード")

何時間も調べてましたが、なかなか検索件数を出す内容が見つからず・・・
様々なブログを参考に組み合わせたりして試行しましたが、動作不良だったりと困難なことになってしまい・・・m(__)m

少しでも皆様の回答を参考にさせていただけたらなと思います。
宜しくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

回答ではなく恐縮ですが念の為、Googleへのスクレイピングは規約違反です。

自動化されたクエリ

Google の利用規約では、自動化されたクエリはその種類にかかわらず、Google からの明示的な許可を事前に得ることなく Google のシステムに送信することが禁止されています。リソースの浪費につながる自動化されたクエリの送信には、WebPosition Gold などのソフトウェアを使って自動化されたクエリを Google に送信し、さまざまなクエリによる Google 検索結果におけるウェブサイトやウェブページのランキングを調べようとする行為が含まれます。ランキングの確認だけでなく、許可を得ていない他の種類の Google への自動アクセスも、ウェブマスター向けガイドラインと利用規約で違反と見なされます。
自動化されたクエリ

APIはあるようなので(使ったことないですが)参考に貼っておきます。
Custom Search APIを使ってGoogle検索結果を取得する

投稿2020/10/28 06:49

編集2020/10/28 06:52
jeanbiego

総合スコア3966

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問