WEBサービスの情報を用いてのLine bot開発は良いのか悪いのか

Question

Gasを用いてLineBotを作成してみたいなと思い立ち、ユーザーが投げた情報に対して返すサービス（まあ一般的ではありますが）を作ることにしました。

APIが用意されているものに関しては情報の取得を目的としているのでいいとは思うのですが、無いものに対して情報を持ってこさせてそれを拾うのはプログラムとしてはどうなのか、悪いのであればどのような弊害が生じるのか、が気になっています。

twitterのフォローユーザーからコミケに参加する人を抽出するアレ
参照したいものはこれです

結局twitterAPI叩けば良いのでは、とは自分でもそう思うのですが…
スクレイピング？というのでしょうか
投げやりな質問で申し訳ありません。

Answer 1

正規の方法でAPIから情報を取得して、
受け取った後のデータは自分なりの軸で加工することは悪いことではありません。

スクレイピングはChrome等のブラウザではなく、
自作のHTTPリクエストでページを表示する為のファイル（HTML）を受け取り、画面描画ではなくファイル内の文章をプログラムで解析して自分の望む情報のみを抜き出す事を指します。
つまり、正常なWebサイトの利用方法の一つではあるんですが、いい感じに情報が抜き出せたら次は全部取ってきて一覧にしたくなりますよね？
なので、スクレイピングを許すとWebサイトの全ての情報にアクセスされて負荷がとんでもないことになりますので、
Amazon等は「買う気も無いのにスクレイピングするんじゃない！したらIPアドレスとかで弾くようにするからな！」という対応にしています。

最初から加工済みのデータをJSON形式でかえすから、お互いに負担が少ないでしょ？
…というWebAPIが提供されているサービスもあります。
WebAPIが提供されているサービスの場合、基本的にスクレイピングはしないようにしましょう。

Comments

[shsw228]

遅くなりました、分かりやすかったです。　ありがとうございます。