質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Flask

FlaskはPython用のマイクロフレームワークであり、Werkzeug・Jinja 2・good intentionsをベースにしています。

Heroku

HerokuはHeroku社が開発と運営を行っているPaaSの名称です。RubyやNode.js、Python、そしてJVMベース(Java、Scala、Clojureなど)の複数のプログラミング言語をサポートしている。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

2回答

3269閲覧

Amazonの商品画像やテキストを取得、保存するwebアプリ構築の方向性に関して

astrophysik928

総合スコア5

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Flask

FlaskはPython用のマイクロフレームワークであり、Werkzeug・Jinja 2・good intentionsをベースにしています。

Heroku

HerokuはHeroku社が開発と運営を行っているPaaSの名称です。RubyやNode.js、Python、そしてJVMベース(Java、Scala、Clojureなど)の複数のプログラミング言語をサポートしている。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/04/11 03:11

現在私は以下のようなシステムの構築を考えています。


web画面のフォームから「筆箱」「うどん」など商品のキーワードを10個ほど打ち込み、バックエンドでキーワード別にAmazonのサイトでスクレイピングをし、商品画像や商品情報のテキストを取得し、それらのデータをクラウドストレージに保存する。


構築環境としては次を考えています。

  1. Heroku(プラットフォーム)
  2. クラウドストレージ(データ保存用)
  3. flask(pythonのwebフレームワーク)

問題は以下の二点です。

  • **「2.クラウドストレージ」**ですが、小さなシステムですので、できれば無料で使用できるサービスを利用したいと考えています。クラウドストレージには、「Cloudinary」「AWS S3」「gyazo」などがあります。多くて迷っているのですが、どれを使うのが最も妥当でしょうか?

  • **「3.flask(pythonのwebフレームワーク)」**ですが、flaskとスクレピングとの組み合わせに問題はないでしょうか?(例・実行が終わるまでの間の画面の様子とか)

以下の2点について、どなたか教えていただけないでしょうか?宜しくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

m.ts10806

2020/04/11 03:15

そもそもAmazonってスクレイピング許可してましたっけ
m.ts10806

2020/04/11 04:17

API利用ならスクレイピングとは言いませんよ。
guest

回答2

0

Amazonのサイトでスクレイピングをし、

APIを利用しましょう。

この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロードとコピーやその他の利用、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、一切含まれません。(Amazon利用規約より)

投稿2020/04/11 03:20

maisumakun

総合スコア146018

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

API使うしかないしそのAPIも制限が厳しくなってアソシエイトである程度売上がないと使えない。
今から使うのは難しい。

画像は保存できないので全部DBに入れる。
画像ではなく画像のURLを保存。
https://affiliate.amazon.co.jp/help/operating/paapilicenseagreement

投稿2020/04/11 03:54

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問