Selenium スクレイピングのマナー

Question

状況

Scrapingコードを書いています。
SeleniumでChrome Driverを動かして、下記サイトから、東京都の介護事業者の情報を取得整理したいと考えています。

https://www.kaigokensaku.mhlw.go.jp/13/index.php?action_kouhyou_pref_search_list_list=true

User-agent: *
Disallow: /shuukei
Disallow: /kanri
Disallow: /houkoku
Disallow: /seikatu_kanri
Disallow: /err
Disallow: /upload

####悩み
整理したい情報が、介護事業者それぞれの情報なので、「詳細情報を見る」ボタンをクリックしていかなければなりません。
加えて、事業者は何千事業者もいます。

処理としては、順に「詳細情報を見る」をクリックしていくやり方になると思うのですが、そういった処理はサーバーに負荷がかかるため、
適切なアクセス間隔を設定せよ、ということは認識しております。

####質問
マナーを守ったスクレイピングを行う場合、
①上記の様にrobots.txtを確認し守る
②UAに連絡先を記載する
③クリックした後に、最低でtime.sleep(1)か、望ましくは或いは数秒待つ
で、認識としては十分なのでしょうか？

Comments

[gentaro]

既についてる回答の通りですが、正直スクレイピングを許容するか否かは運営者の胸先三寸で決まる話なので、こんなところで質問して「大丈夫ですよー」と言ってもらってもアテにしちゃダメです。
法的な問題が絡むので、懸念があるならちゃんと運営元に問い合わせて確認してください。

[otn]

そもそも論として、
> 加えて、事業者は何千事業者もいます。
これって、介護施設に自分が入るもしくは親族を預けるに当たっての情報収集の範囲を越えていると思いますが、許可は得てるあるいはこれから得るのでしょうか？許可を得るのならその際に相談すれば良いのでは？

Answer 1

処理としては、順に「詳細情報を見る」をクリックしていくやり方になると思うのですが、そういった処理はサーバーに負荷がかかるため、

適切なアクセス間隔を設定せよ、ということは認識しております。

質問

マナーを守ったスクレイピングを行う場合、
①上記の様にrobots.txtを確認し守る
②UAに連絡先を記載する
③クリックした後に、最低でtime.sleep(1)か、望ましくは或いは数秒待つ
で、認識としては十分なのでしょうか？

そんな訳がない

それはスクレイピングする側がこの程度なら良いだろうと勝手な判断で決めた自己都合ルールです
robots.txtは検索クローラーに向けたものであってスクレイピングする人に向けて用意したルールではありません
それを勝手にスクレイピングは機械的な処理だからrobots.txt見て判断すればいいだろうとスクレイピングする側が自分の都合の良いように勝手に思い込んでるだけの事

強いてマナーというならサイト運営者にリクエスト頻度などなど詳細に取り決めて契約を結ぶなどをするのがマナーです。
go.jpにそのような問い合わせをして返答が来るかは知りませんが、もし訴訟に発展する可能性のある迷惑を掛けた場合に質問者が相手取るのはgo.jpを取得出来る機関だという事は理解しておいた方が良いですね。

Answer 2

皆様ありがとうございます。
知人／友人の弁護士、エンジニアなどにも話を聞き、スクレイピング周辺の法的問題につき理解を深めることが出来ました。

本サイトで扱うトピックからは外れますし、私が整理して伝える資格もないため内容は省略させて頂きます。
いずれにせよ、ご回答いただきありがとうございます。

Answer 3

転載は出典を明記すれば大丈夫のようです。
利用規約

スリープ時間については図書館で3秒スリープでも裁判になって負けた事例があったので慎重に。
問い合わせて確認するのも良いですね。
もしかするとCSVやExcel形式でもらえるかもしれません。

また、クローリングのテクニックやマナーについては[こちらの書籍](クローリングハック あらゆるWebサイトをクロールするための実践テクニック https://www.amazon.co.jp/dp/4798150517/ref=cm_sw_r_cp_api_fabc_mDt0FbZ3JNS3T)が詳しいので参考にしてください。

公共のデータ活用は良い活動だと思うので頑張ってください。