Q&A
スクレイピングしようとして403になるのは、特定のサイトなのでしょうか。あるいは、あらゆるサイト（スクレイピング対策してなさそうなサイト）でもそうなるのでしょうか。
###実装したいこと
pythonでスクレイピングを行い、その情報をline botで受け取る
###問題点
ローカル環境では情報が取得できるのですが、Herokuでデプロイして実行するとうまくいきません。
refererの設定なども調べましたが、うまくいきませんでした。Heroku側の設定を変更する必要があるのでしょうか？それともそもそもこのような経路でのアクセスをしてはいけないのでしょうか？
初歩的なことでもいいので解答いただけると幸いです。
###試したこと
selenium、requests（user-agent設定済み）は403かaccess deniedが返ってきてしまう
ローカル環境では実行結果が希望通りに行えている
全てのサイトではないです。やはり対策されているサイトにアクセスするのはよろしくないのでしょうか？
クライアント側に設定されるのではなく、サーバーに各個人（会社）が設定します。
あと、割り当てられたホスト名→IP→IPに割り当てられたホスト名とみてわかるとは思いますが
ec2-***-***-***-***.eu-west-1.compute.amazonaws.com
となり、*.amazonaws.com からのアクセスは基本ブラック認定されます。（スパム業者がよく使うので）
基本403になる場所は、別の言葉で利用規約でHTMLからの情報の抜出は禁止しています。
ならない場所でも禁止しているところは少なくありません。
丁寧な説明ありがとうございました
あなたの回答
tips
プレビュー
