Heroku から Webページをリクエストするときの user-agent の設定

Question

Go言語を使ってWebスクレイピングするプログラムを実装中なのですが、
user-agent に設定すべき値がなにかがわからず困っています。
user-agent を設定する理由としましては、user-agent をなしでリクエストを送るとForbiddenになってしまうからです。
ローカル環境であればuser-agentに設定すべき値を調べられるサイトがあったのですが、
最終的にはherokuにデプロイしたいので、heroku上からリクエストを送る際に設定すべき値を教えていただけませんか？
または調べる方法でも構いません。
ご回答よろしくお願いします。

Answer 1

user-agentの値によって挙動を変えるのは完全にサーバー側の実装依存なので、そちらのドキュメントやソースコードを入手する以外に調べる方法はありませんし、これはもちろん対象のサーバーごとに異なります。

なのでご自身のお使いのブラウザで表示できるWebページならその時に使っているuser-agentで良いのではないのでしょうか。（なにがuser-agentに指定する値がベストかはサーバーサイドの条件を洗い出す以外には判断できないです）

Comments

[jgvkmea]

なるほど。user-agent は機器やOS等によってこの値でなければならないみたいなものかと思ったのですが、いま開けてる user-agent で問題ないのですね！ありがとうございます！