Mechanizeを使用し、スクレイピングしたが403エラーが出てしまう

Question

とあるサイトをスクレイピングする為、Mechanizeを使用していますが、何をやってもダメなので、わかるかた教えて頂ければ幸いです。

agent = Mechanize.new
agent.user_agent_alias = "Windows Mozilla"
agent.redirect_ok = false
element = agent.get 'http://xxx.xxx/'

エラーメッセージ

Mechanize::ResponseCodeError: 403 => Net::HTTPForbidden for http://cs1.site777.tv/ -- unhandled response
from /Users/ユーザー名/MyApp2/vendor/bundle/ruby/2.6.0/gems/mechanize-2.7.6/lib/mechanize/http/agent.rb:329:in `fetch'

他のサイトでは問題なくできますが、あるサイトのみ出来ません。
ログイン管理されているサイトなので、その為できない可能性があります。

ググったところ
テラテイルやスタックオーバーフローで似たような質問があり、どちらもユーザーエージェントをwebサイトが見ていて弾かれているような回答だった為、

agent.user_agent_alias = "Windows Mozilla"

にてユーザエージェントを設定しました。
他にも"windows IE11"　や　"Windows Chrome"を試しましたが、どれをやっても無駄だったので、ユーザーエージェントの問題ではないような気がします。

エラーメッセージ等でググりましたが、有益な情報がなく困っております。

分かる方よろしくお願いします。

ちなみにブラウザでは問題なくアクセスできます。

追記
回答を頂き、UAをいじりましたが、エラーメッセージは変わりませんでした。

Answer 1

ユーザエージェントではなく、ログイン後のページにアクセスしていたた為、それが原因だと思われる。
ブラウザではリダイレクトでページが飛んだと思っていたが、デベロッパーツール でみたら、ブラウザの場合も４０３ステータスコードだった。
その為、Mechanizeで特段できていない状況ではな様子。
失礼しました。

Answer 2

トップページであればログイン云々は関係ないですね。
何らかのロジックでブラウザ以外のアクセスを禁止しているのでしょう。

まず、

agent.user_agent_alias = "Mac Safari"
agent.user_agent = 'Mac Safari'

だと、せっかくagent_alias=で設定したユーザーエージェントを、次の行で壊してしまっています。
ユーザーエージェントでMac Safariという文字列を送ったらそりゃ駄目でしょう。ユーザーエージェントというのは単にブラウザ名じゃなくてMozillaの文字が含まれている長い文字列です。
agent.user_agent_aliasとagent.user_agentの違いを理解しましょう。

ユーザーエージェントを正しく送っても駄目だったら、403というのはリダイレクトの結果かも知れないので、最初のレスポンスを確認しましょう。具体的には、

agent.redirect_ok = false

を入れて何が返るか確認しましょう。

Comments

[I_LIKE_EGGS]

わかりました。やってみます。

[I_LIKE_EGGS]

user_agent_aliasとuser_agentの違いを調べ、設定をしなおしました。（user_agentを消しました）
またagent.redirect_ok = falseを入れ、リダイレクトしないようにしましたが、エラー内容は変わりませんでした、他に可能性がありましたらよろしくお願い致します。

[I_LIKE_EGGS]

すみません。ログインしたあとのページにアクセスしているので、それが原因かも知れません。
一度質問を閉じさせて頂きます。ありがとうございます。

[otn]

ログインしないとアクセス出来ないページにログインしないでアクセしようとしてエラーになるので悩んでいたと言うことですか？
さすがにそんな人がいるとは想定できませんでした。