LaravelでのGoogleSearchConsoleのインデックス登録リクエストができない

Question

現在、VPS上でlaravelを動かしています。
GoogleSearchConsoleのURL検査からインデックス登録をリクエストしようとしたところ、サーバーエラー5xxで登録できません。
検索しても、複数の原因が考えられるようで、よく分かりません。
以下が、GoogleSearchConsoleのメッセージになります

「クロール
時間 2020/02/20 21:19:22
ユーザー エージェント パソコン用 Googlebot
クロールを許可？ はい
ページの取得 失敗しました: サーバーエラー（5xx）
インデックス登録を許可？ 該当なし
ユーザーが指定した正規URL 該当なし
Google が選択した正規URL インデックス登録後にのみ決定されます」

環境は、
・ubuntu18.04
・laravel6
・apache2

アクセス数は今のところ低いため、サーバー負荷ではありません。
サイトもブラウザからは普通に表示されます。
プライバシーポリシーなどの静的ページのURLをインデックスさせようとした所、そこでも5xxが出ました。

X-Frame-Optionsはsameoriginにしていますが、それは原因にならないだろうと思います。

自分としては、
・VirtualHost
・ファイアウォールやDNS設定
辺りが原因かと思いつつ、何故、クローラーではエラーになるのか、分かりません。

原因をどう、特定したらよいのか、誰か、教えてください

Answer 1

• ログインしていないとエラーになるページ作りになっている
• 特的のHTTPヘッダを使用しないと見れないページになっている（Accept-Languageとか）
• 特定のIPをBANする機能がある

とかでしょうか？
少なくともapacheのアクセスログから50何エラーかわかるはずなのでまずは具体的なエラーコードを確認しましょう

プライバシーポリシーなどの静的ページのURLをインデックスさせようとした所

これは内容は静的でも、laravelを経由しているのではないでしょうか？
その場合、Middlewareとかでエラーが発生してしまえば5xxとなるはずです

Comments

[beta]

回答、ありがとうございます!
apacheのエラーログを見るの、すっかり忘れていました。
見てみます!
あと、Accept-Languageは確かにミドルウェアで操作していました。
確かに、そこら辺が怪しいので、そこら辺を重点的に調べてみます!

[beta]

Accept-Languageを使っていたミドルウェアをKernel.phpから除外してauto-loadしてみた所、googleへのインデックス申請が成功しました!
助かりました!
ありがとうございました!