クローラーについて

Question

転職のためにweb関連(サーバーサイド中心)の勉強をしています。
全く技術的な質問でないので恐縮なのですが

よく、クラウドワークスやランサーズ等のサイトを見るとクローラー作成やスクレイピング等の依頼が見られますが、ああいったものはどの程度仕事としてあるのでしょうか？
個人的にはLibrahack事件などもあり黒くはないけれどなんとなくいいイメージが感じられないのですが・・・
（もっとも今どきクローラー等をほとんど考慮していないのも問題なのでしょうが）
APIがあるのであればともかく無いものに対してそういったことをするのがどのくらい一般的に仕事として行われ、扱われているのかを知りたいと思います。

ちょっと漠然とした質問ですみません。

Answer 1

心配の内容が、
不正アクセス防止法についてであれば、
検索ワード：不正アクセス防止法
で、検索されて、
警視庁のサイト、各県警のサイトなどから、
不正アクセス禁止法Ｑ＆Ａや、
解説ページを閲覧すれば良いのではないでしょうか？

Answer 2

Googleが最大のクローラー運用者であるのは今更言うまでもないとして、はてなの最初期からあるサービスの一つ「はてなアンテナ」がクローラーサービスですし、一時期流行ったYahoo Pipesも実質的にはクローラーツクールでした。
そしてそもそもHTML5という規格自体が、ウェブ文書をもっとクローラーから扱いやすくしようという目的で制定されたものです。

クローラーはごく一般的なコンピューティングと見なすべきものです。