質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.86%

スクレイピング、robotos.txtの読み/考え方について

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 97

ynj

score 3

webを検索すると"amazonはスクレイピングを許していない"といった記事が引っかかります。

しかし、例えば下記の頁を対象とした場合
https://www.amazon.co.jp/s/ref=nb_sb_noss_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&url=search-alias%3Daps&field-keywords=%E6%AD%B4%E5%8F%B2

amazonのrobots.txtには"https://www.amazon.co.jp/s/"はDisallowとして記載がありません。

これはスクレイピングをしても構わないという事なのでしょうか?
それとも利用規約にある一文、
「~データ収集・抽出ツールの使用は、一切含まれません。」をもって許されないという事のなのでしょうか?
その他、そもそも考え違いしてる部分などありましたらご指摘頂ければと思います。よろしくおねがいします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+4

検索エンジンが行う網羅的なクローリングと、特定の結果を抽出するために行うスクレイピングは、別物と考えたほうがいいでしょう。

検索エンジンを構築するために行うクローリングはフェアユースにあたり、<meta>robots.txtで排除しない限り、サイト運営者はそれを受忍しているとみなされる、というアメリカでの裁判例もあります。

Instagramのように、「標準的な検索エンジン」については、機械的なアクセスの禁止から除外している例もあります。

Instagramは、自動システムなどを使って本サービスのあらゆるコンテンツ(利用者のプロフィールや写真を含みますが、これに限定されません)を巡回、収集、キャッシングしたり、アクセスしたりすることを禁止しています(ただし、標準的な検索エンジンプロトコルまたはInstagramが明示的に認めている検索エンジンが使用する技術を用いる場合を除きます)。

一方で、特定のサイトから特定の情報を得るために行うスクレイピングは、Amazonの利用規約にある「データマイニング、ロボットなどのデータ収集・抽出ツールの使用」そのものと言って間違いないでしょう。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/19 23:41 編集

    回答ありがとうございます。
    (amazonに限らず)スクレイピングが許可されているかどうかは、
    まず利用規約によって、次にrobots.txtによってより詳細を決定する。
    という理解で正しいでしょうか?

    キャンセル

checkベストアンサー

0

クローリング行為は
著作権法の「送信可能化された情報の送信元識別符号の検索等のための複製等(第47条の6)」に該当するかと。

インターネット情報の検索サービスを業として行う者(一定の方法で情報検索サービス事業者による収集を禁止する措置がとられた情報の収集を行わないことなど、政令(施行令第7条の5)で定める基準を満たす者に限る。)は、違法に送信可能化されていた著作物であることを知ったときはそれを用いないこと等の条件の下で、サービスを提供するために必要と認められる限度で、著作物の複製・翻案・自動公衆送信を行うことができる。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/19 23:39

    回答ありがとうございます。
    著作権法としても、まずはサービス提供事業者が許可するかどうかということですね。
    利用規約>robots.tx、の順に許可/不許可の詳細が決まるという感じでしょうか。

    キャンセル

  • 2018/05/20 00:07 編集

    >ynjさんへ
    そうだと思います。
    単純に考えると相手にとって益になる行為かどうかというのも一つの側面かと。
    Amazonなどの大手サイトはスクレイピングを利用したサイトに頼らなくても、
    多数のユーザーは見込めるので、フリーライダー(ただ乗り)には厳しい側面もあります。
    WebAPIを公開して、スクレイピングはそちら経由でアクセスしてください。というサイト(amazon/ツィッター)になります。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.86%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    ec2から別会社のvpsのdirにnfsでマウントできません。

    **現象 ec2サーバで mount -t nfs 外部サーバのip:/export/data /var/www/html/data mount.nfs: Connection t

  • 受付中

    Javaでスクレイピング

    Javaで特例のサイトの記事をスクレイピングするプログラムを作りたいと考えて おります。Javaで基本的なWEBアプリケーションを作る事は可能です。 しかし、このスクレイピングプロ

  • 解決済

    Rでwebスクレイピング

    Rでwebスクレイピングをしようと思っているのですが、 うまくいっていないのでどうかご教示ください。 とりあえず、ブラウザ上にあるテキストデータをすべて取り込めればいいかなとおも

  • 解決済

    スクレイピングについて

    初心者です。何卒よろしくお願いいたします。 ただいま、情報を扱うウェブサイトを制作しています。 情報といっても、個人情報等ではないのですが、 この情報を抜き取られる(スク

  • 解決済

    python3 Visual studio2015 Webスクレイピング

    Visual studioの設定もようやく終わりやっとコードを書き始めました。 まずはこのサイトを写経して勉強しようとしたのですが、つまずきまくっています。。 参考したサイト

  • 解決済

    Nokogiri、anemone、open-uriを使って、指定したサイトをクロール、スクレイピング

    前提・実現したいこと Nokogiri、anemone、open-uriを使い、指定したウェブサイトをクローリング、スクレイピングして、画像リンクURLを取得し、そのURLから画

  • 解決済

    BeautifulSoupを使ってスクレイピング

    前提・実現したいこと あるページ(イトーヨーカドー)から商品名と価格を取得するためのコードを書いていたところ、以下のエラーメッセージが発生しました。 発生している問題・エラ

  • 解決済

    [Ruby]webスクレイピング

    webスクレイピングで、<span>の中身をとりだしたいんですが、上手く実行されません。 HTML内で求めるspanが何番目にあるか数えたり、検索機能で調べたり、コード内の変数

同じタグがついた質問を見る