セキュリティとスクレイピングの対象

Question

スクレイピングというのを調べています。
やったことはありません。
僕が知る限りスクレイピングはHTMLに書かれたデータを取得するものと思っています。
たぶん画像や動画も取得できて、画像や動画はHTMLにパスしか書かれてないから、パスを見てサーバー上の画像や動画ファイルを取得しに行くものと思っています。
法的には確実に違法かも知れませんが。
こういう考えで行けばデータベースのデータも取得しに行くことは出来るのでしょうか？
もし出来るのなら、今後作るwebは対策を考えて作らなきゃとか思っています。
ご存知の方教えてください。

Comments

[meg_]

「法的には確実に違法かも知れませんが。」
上記について。スクレイピングが禁止されているサイトではやっては駄目です。規約によってロボット的なアクセスは禁止とかサイト側が提供するツール以外からのアクセスは禁止などの表現になっていることが多いです。全てのサイトがスクレイピング禁止というわけでもないですね。

[m.ts10806]

データベースのデータ抜き取るのはスクレイピング関係ないです。
というか、タグは「セキュリティ」「スクレイピング」に変更しておいてください。

[chintao1224]

タグにスクレイピングが無かったのでセキュリティーに変更しました。

[m.ts10806]

https://teratail.com/tags/%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0

Answer 1

修正欄でもmeg_さんがおっしゃっていますが、利用規約等で禁止されていない場合は一部を除いて違法ではないです。（一部というのは過度な負荷等々

こういう考えで行けばデータベースのデータも取得しに行くことは出来るのでしょうか？

「データーベースのデータ」の定義にもよるので、「可でも不可でもある」というのが答えになります。

もし、データベースの中に入ってる「すべてのデータ」が取得されてしまう心配をなさっているなら、サイト中に脆弱性がない限り、「基本的」には大丈夫です。

Comments

[chintao1224]

脆弱性などはあまり知らないので、そういう意味ではデータベースのデータが抜き取られる可能性があるということになるのかなぁ。
脆弱性調べなきゃなぁ。
ありがとうございました。