質問編集履歴

4 タイトル修正

te2ji

te2ji score 23656

2017/01/04 20:14  投稿

スクレイピング使用サービスの企画から運用で必要なこと
スクレイピング使用サービスの企画から運用で考慮しなければならないこと
スクレイピングは、お手軽にコンテンツが作成できるようになるためか、利用したいという要求をなかなかおさえることが出来ません。
個人的にはスクレイピングによる被害を被ったこともあり、スクレイピング慎重派なのですが、私の考慮できる範囲は、個人商店レベルなので、きちんとした業務レベルで利用されている方々の知見をいただければと考えました。
つきましては、スクレイピングにおける技術ポイントや注意点等を教わりたいです。
私の考えるポイントは以下のとおりです。(思いつきで書いてます。すみません^^;)
不足点の指摘やご意見をいただけないでしょうか。
# 企画
・そもそもスクレイピング先に迷惑をかけないか?
・コンテンツを引用の範囲以上で使用する事になっていないか?
盗用になっていないか?加工後に付加価値がつけられるか?
・スクレイピング先へのアクセスを阻害する企画になっていないか?
コンテンツ引用等で、同じターゲットを取り合いになっていないか?
・スクレイピング先のサイトポリシーに違反する違反する内容になっていないか?
利用の制限に抵触していないか?2次利用が禁止されていないか?機械アクセスを禁止していないか?等
# 設計
・アクセス頻度は適切か?
通常のユーザアクセスと同程度のアクセスとなっているか?
・アクセスで不具合を起こさせてしまったときの連絡方法を確立できているか?
UAで知らせる等の実装は出来ているか?
・取得情報のばらつきに対しての処理は許容できる範囲か?
・使用するライブラリがあれば、その実績や機能に問題はないか?
# 構築/テスト
・実装としてアクセスは必要最小限となっているか?
キャッシュを取るとか。
・テスト段階ではローカルでテストできるように準備しているか?
データの加工処理を行う部分はちゃんとローカルでテスト出来ているか。
・使用するライブラリの仕様を把握しているか?
おかしなアクセスや内部でのループ処理が入っていないか?
・取得情報のばらつきに対して適切な回避処理や補完処理を行えているか?
# 運用
・エラー等の監視が必要十分に出来ているか?
**ある程度ご意見いただけたら、Qiitaとかにまとめようと思っています。**
  • PHP

    36758 questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • Ruby on Rails

    18595 questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    1487 questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

3 タイトル修正

te2ji

te2ji score 23656

2017/01/04 10:29  投稿

スクレイピングの企画から運用で必要なこと
スクレイピング使用サービスの企画から運用で必要なこと
スクレイピングは、お手軽にコンテンツが作成できるようになるためか、利用したいという要求をなかなかおさえることが出来ません。
個人的にはスクレイピングによる被害を被ったこともあり、スクレイピング慎重派なのですが、私の考慮できる範囲は、個人商店レベルなので、きちんとした業務レベルで利用されている方々の知見をいただければと考えました。
つきましては、スクレイピングにおける技術ポイントや注意点等を教わりたいです。
私の考えるポイントは以下のとおりです。(思いつきで書いてます。すみません^^;)
不足点の指摘やご意見をいただけないでしょうか。
# 企画
・そもそもスクレイピング先に迷惑をかけないか?
・コンテンツを引用の範囲以上で使用する事になっていないか?
盗用になっていないか?加工後に付加価値がつけられるか?
・スクレイピング先へのアクセスを阻害する企画になっていないか?
コンテンツ引用等で、同じターゲットを取り合いになっていないか?
・スクレイピング先のサイトポリシーに違反する違反する内容になっていないか?
利用の制限に抵触していないか?2次利用が禁止されていないか?機械アクセスを禁止していないか?等
# 設計
・アクセス頻度は適切か?
通常のユーザアクセスと同程度のアクセスとなっているか?
・アクセスで不具合を起こさせてしまったときの連絡方法を確立できているか?
UAで知らせる等の実装は出来ているか?
・取得情報のばらつきに対しての処理は許容できる範囲か?
・使用するライブラリがあれば、その実績や機能に問題はないか?
# 構築/テスト
・実装としてアクセスは必要最小限となっているか?
キャッシュを取るとか。
・テスト段階ではローカルでテストできるように準備しているか?
データの加工処理を行う部分はちゃんとローカルでテスト出来ているか。
・使用するライブラリの仕様を把握しているか?
おかしなアクセスや内部でのループ処理が入っていないか?
・取得情報のばらつきに対して適切な回避処理や補完処理を行えているか?
# 運用
・エラー等の監視が必要十分に出来ているか?
**ある程度ご意見いただけたら、Qiitaとかにまとめようと思っています。**
  • PHP

    36758 questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • Ruby on Rails

    18595 questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    1487 questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

2 タイトル修正

te2ji

te2ji score 23656

2017/01/04 09:58  投稿

スクレイピングで必要なこと
スクレイピングの企画から運用で必要なこと
スクレイピングは、お手軽にコンテンツが作成できるようになるためか、利用したいという要求をなかなかおさえることが出来ません。
個人的にはスクレイピングによる被害を被ったこともあり、スクレイピング慎重派なのですが、私の考慮できる範囲は、個人商店レベルなので、きちんとした業務レベルで利用されている方々の知見をいただければと考えました。
つきましては、スクレイピングにおける技術ポイントや注意点等を教わりたいです。
私の考えるポイントは以下のとおりです。(思いつきで書いてます。すみません^^;)
不足点の指摘やご意見をいただけないでしょうか。
# 企画
・そもそもスクレイピング先に迷惑をかけないか?
・コンテンツを引用の範囲以上で使用する事になっていないか?
盗用になっていないか?加工後に付加価値がつけられるか?
・スクレイピング先へのアクセスを阻害する企画になっていないか?
コンテンツ引用等で、同じターゲットを取り合いになっていないか?
・スクレイピング先のサイトポリシーに違反する違反する内容になっていないか?
利用の制限に抵触していないか?2次利用が禁止されていないか?機械アクセスを禁止していないか?等
# 設計
・アクセス頻度は適切か?
通常のユーザアクセスと同程度のアクセスとなっているか?
・アクセスで不具合を起こさせてしまったときの連絡方法を確立できているか?
UAで知らせる等の実装は出来ているか?
・取得情報のばらつきに対しての処理は許容できる範囲か?
・使用するライブラリがあれば、その実績や機能に問題はないか?
# 構築/テスト
・実装としてアクセスは必要最小限となっているか?
キャッシュを取るとか。
・テスト段階ではローカルでテストできるように準備しているか?
データの加工処理を行う部分はちゃんとローカルでテスト出来ているか。
・使用するライブラリの仕様を把握しているか?
おかしなアクセスや内部でのループ処理が入っていないか?
・取得情報のばらつきに対して適切な回避処理や補完処理を行えているか?
# 運用
・エラー等の監視が必要十分に出来ているか?
**ある程度ご意見いただけたら、Qiitaとかにまとめようと思っています。**
  • PHP

    36758 questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • Ruby on Rails

    18595 questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    1487 questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

1 前文修正

te2ji

te2ji score 23656

2017/01/04 08:40  投稿

スクレイピングで必要なこと
お手軽にコンテンツが作成できるようになるためか、それなりの学習をした後に行うべきスクレイピングを、ほとんど学習なしに使用しようとする質問が多くあります。
スクレイピングは、お手軽にコンテンツが作成できるようになるためか、利用したいという要求をなかなかおさえることが出来ません。
個人的にはスクレイピングによる被害を被ったこともあり、そういった質問には、まずスクレイピング以前に実施しなければならない(知らなければならない)事を説明するようにしているのですが、そもそも私自身がそれほど網羅的な知見があるわけでもないため、質問者に役立つ回答を行えていないのではないかと考えています。
個人的にはスクレイピングによる被害を被ったこともあり、スクレイピング慎重派なのですが、私の考慮できる範囲は、個人商店レベルなので、きちんとした業務レベルで利用されている方々の知見をいただければと考えました。
つきましては、スクレイピングにおける技術ポイントや注意点等を教わりたいです。
私の考えるポイントは以下のとおりです。(思いつきで書いてます。すみません^^;)
不足点の指摘やご意見をいただけないでしょうか。
# 企画
・そもそもスクレイピング先に迷惑をかけないか?
・コンテンツを引用の範囲以上で使用する事になっていないか?
盗用になっていないか?加工後に付加価値がつけられるか?
・スクレイピング先へのアクセスを阻害する企画になっていないか?
コンテンツ引用等で、同じターゲットを取り合いになっていないか?
・スクレイピング先のサイトポリシーに違反する違反する内容になっていないか?
利用の制限に抵触していないか?2次利用が禁止されていないか?機械アクセスを禁止していないか?等
# 設計
・アクセス頻度は適切か?
通常のユーザアクセスと同程度のアクセスとなっているか?
・アクセスで不具合を起こさせてしまったときの連絡方法を確立できているか?
UAで知らせる等の実装は出来ているか?
・取得情報のばらつきに対しての処理は許容できる範囲か?
・使用するライブラリがあれば、その実績や機能に問題はないか?
# 構築/テスト
・実装としてアクセスは必要最小限となっているか?
キャッシュを取るとか。
・テスト段階ではローカルでテストできるように準備しているか?
データの加工処理を行う部分はちゃんとローカルでテスト出来ているか。
・使用するライブラリの仕様を把握しているか?
おかしなアクセスや内部でのループ処理が入っていないか?
・取得情報のばらつきに対して適切な回避処理や補完処理を行えているか?
# 運用
・エラー等の監視が必要十分に出来ているか?
**ある程度ご意見いただけたら、Qiitaとかにまとめようと思っています。**
  • PHP

    36758 questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • Ruby on Rails

    18595 questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    1487 questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る