前提・実現したいこと
puppeteerをつかってファイルのアップロードを自動化させたいと考えています。
ただアップロードしたいサイトのrobots.txtが以下のように記載されているため、行ってよいのか悩んでいます。
※データを取得するつもりはありません。スクレイピングツールを使ってアップロードのみ行いたいと考えているだけです。
txt
1User-agent: * 2 3Disallow: /
例えばTwitterは公式のApiを利用する以外では禁止されています。
ですが、こちらの本ではスクレイピングは禁止されていても動かす程度ならばよさそうな記述がありました。
こちらは行ってもよいのでしょうか?
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。