HTTPリクエストについて

Question

ブラウザ経由でURLに直アクセスするとデータが表示される、
file_get_contents("URL")だと403 Forbiddenとなります
ReferrerだったりUserAgentはしっかり設定して投げていますが、
その他のブラウザ経由かの識別情報による判定でNGになってると思われます
ReffererかUserAgentしか頭にないのですが
その他挙げるとしたら何があるでしょうか？クッキーでしょうか？

Comments

[退会済みユーザー]

ご存じかも知れませんがおさらい
403エラーは認可のエラー、要はコンテンツにアクセスする権限がないってことです
> ブラウザ経由でURLに直アクセスすると
接続したいサイトの前提が分かりませんが、そのサイトはログイン機能はありますか？
ログイン機能があるのでしたら、CookieもしくはHTTPのヘッダーの可能性があります
ブラウザの開発者ツールを使うことで、Cookie含めどのようなリクエストがサーバに送られているか確認できます
それ以外とすればユーザ操作が必要のないreCAPTCHAでロボット判定されているかも知れません
対処法はあるのですがスクレイピングネタはグレーなのでこの場で対処方法は控えます

[popori]

ログインサイトであれば当然取得できないものと考えますが、
未ログインで取得できる情報であり、reCAPTCHA云々ではないと思われます

[CHERRY]

JavaScript でページを生成している場合等もあり、Webサイトによりケースバイケースと思います。

file_get_contents 以外の方法( curl や selenium 等)でアクセスすると状況は、どうなりますか？

[popori]

seleniumはやったことがありませんが
file_get_contentsとcurlは同じ結果です

[退会済みユーザー]

> 未ログインで取得できる情報であり、reCAPTCHA云々ではないと思われます

細かな説明を割愛して誤解を招いたかも知れませんが、ユーザ操作が必要のないreCAPTCHAとは
poporiさんの仰るJavaScriptでページ生成する系の一種です
ログインが必要かどうかは抜きにして、画面に表示されない（利用者に見えない）reCAPTCHAをJSで動かしてロボット判定するサイトもあります
この手の場合、SeleniumやPuppeteerなどのブラウザもしくはヘッドレスブラウザでJSを実行しないとスクレイピングできません
まずは開発者ツールで、ブラウザからサーバにどのようなリクエストが送信されているのか確認されてはどうでしょうか

Answer 1

chromeだとデベロッパツールのネットワークという機能でリクエストの内容がみれて
ヘッダの中にRefferer,UserAgent以外にも多くの情報が送信されていることがわかります。
これらも確認して合わせたらどうでしょう？

また、そちらの環境はわかりませんが、私が最近経験したところではntlm認証が必要なproxyをはさんで
いて、ntlm認証に対応したツール（ブラウザ）と対応していないツールで違う動作になったことがあります。

Answer 2

Cookieはブラウザによるリクエストと同じものを設定していますでしょうか？
以下を設定するとどうでしょうか？
accept-encoding
accept
accept-language