PC及びレスポンシブでコピペの出来ないユーザ用に、ページ内でググり、選ばれたURLを取得したい

Question

環境

MacOSX Sierra 10.12.6
MAMP
Chrome
jQuery: 3.2.1

やりたい事

ページ内のフォームでURLを入力して送信するとそのページのキャプチャが表示されるウェブアプリを作っています。手打ちやコピペでURLを入力してもらう事が出来ればいいのですが、レスポンシブ等で正確に出来ないユーザもいます。

そこで、URL入力欄とは別にGoogle検索欄を設け、普段ググる要領でURLを見つけてもらい、それを選んだら自動的にURLに転記し、キャプチャを撮りにいく作りにしたいです。

調べたこと

グーグルでapiみたいなものがないかと探したのですが、サイトを絞った検索、ページ内検索はあっても全ネットを対象にしたものが見つかりませんでした。

困っていること

URLを正確に入力してもらえればそれに応じたキャプチャを撮ることは出来ています。ユーザに欲しいURLを慣れてる「ググり」で入力してもらうため、Google検索窓を自ページに設置できないものでしょうか？

よろしくお願いします。

Answer 1

Custom Search APIでできますよ。

公式
https://developers.google.com/custom-search/

参考（料金などは最新の公式情報を参照してください）
https://urashita.com/archives/8158#Google-2
https://qiita.com/megu_ma/items/8cad39f61e35588e5476

Comments

[taro_nii_chan]

お返事するまでもう少々お待ちくださいませ。

[taro_nii_chan]

お返事遅くなりました。

出来ますね。ありがとうございます。

Answer 2

“レスポンシブでコピペの出来ない”というのが理解できないのですが、要はURLのコピー＆ペーストができないユーザがいるという意味でしょうか？
だったらコピー＆ペーストのやり方を教えてあげるだけで済んでしまうと思うのですが。

まあ、それはともかくとして。
グーグル検索をし、検索結果から1つ選び、そのURLをキャプチャを取るプログラムに投げるという要件ですよね？
Google Custom Search APIは無料だと制約がきつく、かといってお金払うほどではないんじゃないでしょうか。
そこで提案なんですが、サーバー側でユーザになりかわり検索してあげるのはどうでしょう。
で、検索結果をリスト化して表示、ラジオボタンか何かでユーザに選ばせると。

検索結果のhtmlの構成はこんなふうになってます。

• タイトルリンク <h3 class="r">...</h3>のaタグ
• description <div class="s">...</div>

この2つを抜き出せばokでしょう。
スクレイピングの経験があれば、けっこう簡単にできちゃうと思いますよ。

Comments

[think49]

> スクレイピングの経験があれば、けっこう簡単にできちゃうと思いますよ。
https://www.google.com/intl/ja/policies/terms/ には「本サービスを不正に利用しないでください。たとえば、本サービスの妨害や、Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません。」とある為、Webスクレイピングは利用規約違反と思われます。
また、最近のGoogle Web検索には一定時間内で複数回の検索を行うと、bot検知の為の「私はロボットではありません」の入力を求められる事があります。

[ooeok]

その通りですね。
軽率でした。

[taro_nii_chan]

回答ありがとうございました。

結果として出来ないことが判明しましたが、お答えいただけなかったら誤って試していたかもしれません。そういう発想があるという事と、やってはいけないことがあるという事を教えていただきました。感謝しています。