リファラーの指定場所について

Question

requests.getなどでリクエストを送る際なのですが、HTTPヘッダーを指定する際、リファラーはどこか特定の場所に記載しなければならないなどはありますでしょうか？
自分は以下のように設定しました

headers =  {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 referer:https://www.google.com/'}

リファラーは「User-Agent」の直後に記載しなければならないなどのルールがありましたら、教えてください。

Answer 1

自分は以下のように設定しました

これでは、書いての通り「User-agentにMozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 referer:https://www.google.com/」を設定するという意味になります。

別にキーを立ててください。

headers =  {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0', Referer: 'https://www.google.com/'}

Comments

[aae_11]

「, Referer: 'https://www.google.com/'}」こちらの部分なのですが、「Referer」をシングルクォートで囲っていないのですが、その場合、変数として扱われてしまうと思うのですが、シングルクォートで囲む必要はありますでしょうか...?

[maisumakun]

（誤認に基づくコメントだったので取り消し）

[maisumakun]

（誤認に基づくコメントだったので取り消し）

[aae_11]

実は、シングルクォーとで囲ってみた場合、「NameError: name 'Referer' is not defined」となってしまったんですよね...
取り敢えずは、シングルクォートで囲ってみて、試したいと思います。

[maisumakun]

すみません、Pythonだったのですね。失礼しました。

[aae_11]

いえいえ！

Answer 2

実は、シングルクォーとで囲ってみた場合、「NameError: name 'Referer' is not defined」となってしまったんですよね...

というのがよくわからないのですが、実際に試したコードを　質問に追記できないでしょうか？

---

とりあえず...

requests.getなどでリクエストを送る際なのですが、HTTPヘッダーを指定する際、リファラーはどこか特定の場所に記載しなければならないなどはありますでしょうか？

リクエストヘッダの順番は特にないはずです。

また、Authorization等と異なり、Referer が、requests 内部で上書きされることもないと思うのですが...
Custom Headers

最低限の動作確認のコード例だと...

headers = {
    'Referer': 'http://example.com/',
    'User-Agent': 'Python TEST User Agent'
}
response = requests.get('http://example.jp/test.php', headers=headers)
print(response)   # ==> <Response [200]>

で、

192.168.20.99 - - [19/Mar/2020:15:00:59 +0900] "GET /test.php HTTP/1.1" 200 15413 "http://example.com/" "Python TEST User Agent"

のようなアクセスログが記録され、Referer は問題なく送信されています。

Comments

[aae_11]

ご回答ありがとうございます。
「headers = {
'Referer': 'http://example.com/',
'User-Agent': 'Python TEST User Agent'
}」
こちらの記載方法で試しましたら、無事エラーなく、実行することが出来ました。

[CHERRY]

問題なく実行できたと言うことですが、NameError が出た場合との差は、何だったのでしょうか？

エラーが出た原因をきっちり抑えておかないと次回に同じエラーが出た場合に悩むことになります。

[aae_11]

「NameError」が出たのは、「Refere」の部分をシングルクォートで囲っていなかったことが原因でした。