CENTOSのアクセスログがおかしくなりました

Question

お世話になります。

NiftyCloudのサーバにおいてSSLを更新設定したところ、いままでhtaccessを用いて接続元制限を行ったいたのですが、それができなくなってしまいました。
また、アクセスログにIPアドレスが出なくなってしまったため、どのIPからアクセスがあったのかも分からない状況です。他社から引き継いだ案件で詳細をいただけておらず、不明な設定が存在しています。

関係ありそうな部分だけピックアップして公開させていただきます。
どなたか、こういった状況を打開する方法はご存じないでしょうか？

まずは、IPアドレスだけでも解決できるとよいのですが・・・
何卒よろしくお願いいたします。

■OS

[root@localhost httpd]# cat /etc/redhat-release
CentOS release 6.6 (Final)

■httpdのバージョン

[root@localhost httpd]# /usr/sbin/httpd -v
Server version: Apache/2.2.15 (Unix)

■ログフォーマット

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%h\"" combined_with_realip

■SSL導入前までのログ

xx.xx.79.150 - - [01/Aug/2016:12:13:40 +0900] "POST アクセス先 HTTP/1.1" 200 61 "リファラー" "Mozilla/5.0

■SSL導入後のログ

- - - [02/Aug/2016:21:29:23 +0900] "GET アクセス先 HTTP/1.1" 403 300 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0" "身に覚えのないIPアドレス"

※IPアドレス制限をかけているため認証エラー

追記
■vhosts.conf

<VirtualHost *:80>
   ServerName www.ドメイン
   ServerAlias ドメイン
   DocumentRoot "/home/www/html"
   ServerAdmin [e-mail]
   <Directory "/home/www/html">
       Options -Indexes FollowSymLinks ExecCGI +IncludesNoExec
       AllowOverride all
       #Require all granted
       #Satisfy Any
   </Directory>

   RewriteEngine on
   RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)
   RewriteRule .* - [F]

   CustomLog "|/usr/sbin/rotatelogs /home/www/logs/apache/access_log.%Y%m%d 86400 540" combined_with_realip
   ErrorLog  /home/www/logs/apache/error_log
</VirtualHost>

<VirtualHost *:443>
  ServerName www.ドメイン:443
  DocumentRoot "/home/www/html"
  ServerAdmin [e-mail]

  ErrorLog /home/www/logs/apache/ssl_error_log
  TransferLog /home/www/logs/apache/ssl_access_log
  LogLevel warn
  SSLEngine on
  SSLProtocol all -SSLv2
  SSLCipherSuite ALL:!ADH:!EXPORT:!SSLv2:RC4+RSA:+HIGH:+MEDIUM:+LOW
  SSLCertificateFile    /etc/httpd/conf.d/ssl/server.crt
  SSLCACertificateFile  /etc/httpd/conf.d/ssl/ca.crt
  SSLCertificateKeyFile /etc/httpd/conf.d/ssl/server.key

  <Files ~ "\.(cgi|shtml|phtml|php3?)$">
       SSLOptions +StdEnvVars
  </Files>
  <Directory "/home/www/html">
       SSLOptions +StdEnvVars
       AllowOverride all
  </Directory>
  SetEnvIf User-Agent ".*MSIE.*" \
           nokeepalive ssl-unclean-shutdown \
           downgrade-1.0 force-response-1.0
#  CustomLog logs/ssl_request_log \
#            "%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"
   CustomLog "|/usr/sbin/rotatelogs /home/www/logs/apache/ssl_request_log.%Y%m%d 86400 540" combined

  <Directory /home/www/html/share/uploads/mw-wp-form_uploads>
    SetEnvIf X-Forwarded-For "99\.999\.99\.99|999\.999\.999\.999|999\.999\.999\.999" allowIP
    Satisfy Any
    Order deny,allow
    Deny from all
    Allow from env=allowIP
  </Directory>
</VirtualHost>

※ドメイン名とアクセス許可IPは伏せさせていただきました。
ほかにもディレクトリ毎に.htaccessでX-Forwarded-Forを用いたアクセス制限をしています。
今回の減少はこのX-Forwarded-Forの判定がうまくいかなくなってしまったことが原因です。
Allow from all
にすればアクセスできないところが使用できるようになります。

Comments

[asahina_dev]

80番ポート、443番ポート　両方のVirtualHost ディレクトリ部分を掲載してください。
（コードのマークダウンでかこってね）

[asahina_dev]

また　４０３なので認証かかってません!!　アクセス制限エラー（閲覧権限なし）です

[T.Yokotani]

X-Forwarded-Forでアクセス許可設定をしているので、まさにここで引っかかっているかと思います。
ログを修正して、IPアドレスを取得するところから始めてみます。

Answer 1

SSL設定および SSLサーバー証明書は Apache httpd に対して行なったのではなく、ロードバランサーの SSLアクセラレーターを利用しているのではないでしょうか。
その場合、Apache httpd から見た接続元はロードバランサーの IPアドレスになると思います。

ログフォーマットは combined_with_realip になっているようですが、X-Forwarded-for にオリジナルの接続元IPアドレスが設定されて、ログの先頭の「●」箇所に記録されていませんでしょうか。

(2016/08/03 17:03) 追記

HTTP(80番ポート)のログ access_log.* の書式は combined_with_realip、
HTTPS(443番ポート)のログ ssl_request_log.* の書式は combined と設定されています。

「SSL導入前のログ」を見ると、combined のように見えます。
HTTP(80番ポート)のログの書式が combined だった、かつ、ロードバランサーを経由せずに直接クライアントからの接続を受けていたということですか？

「SSL導入後のログ」を見ると、combined_with_realip のように見えます。
https:// でアクセスしたときも access_log.* に記録されているのですよね？
ロードバランサーで SSL を終端し、ロードバランサーと Apache httpd 間は HTTP(80番ポート)で通信していると思います。
「身に覚えのないIPアドレス」は ロードバランサー に記載の IPアドレス範囲に含まれるものではないでしょうか。

上記仮定が合っているとすると、SSL の場合にロードバランサーから X-Forwarded-for が渡されていないことが原因と思います。
ロードバランサーの仕様によると思いますので、NiftyCloud に問い合わせてみては？

Comments

[T.Yokotani]

ロードバランサーは使用していますが、SSLの設定自体はサーバ本体に行っています。
「ログの先頭の「●」箇所」というのがちょっとわかりませんでした。もう少し具体的にご指摘いただけるととても助かります。。。
不勉強で申し訳ありません。

[TaichiYanagiya]

回答に追記しました。
編集前の質問をこちらのブラウザで見たときに、「SSL導入後のログ」のログの先頭が「-」ではなく「●」と見えたのですが、見間違えかもしれません。

[T.Yokotani]

なるほどですね。
ありがとうございます。
asahina_dev様にも同じ指摘をいただきましたので、試してみます！
ありがとうございます。

追記いただきました部分ですが、https:// でアクセスしたときは
ssl_request_log.%Y%m%d
に出力されるようです。
ちなみに今回は引き継ぎ資料は接続情報のみ・・・というレベルでした。
基本的にサーバが落ちた時だけくらいしか作業がないと聞いていたので・・・・

X-Forwarded-forとLBの関係についてはNiftyCloudに改めて問い合わせてみます！

[TaichiYanagiya]

https:// の場合、ssl_request_log.* に記録されるとのことですが、その時のログが「SSL導入後のログ」なのですか？
ssl_request_log.* の書式は combined_with_realip なのですか？？？
わからなくなりました。

ロードバランサーの SSLアクセラレータを利用している場合は HTTP となるようです (http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_120416000899_1.htm) ので、ssl_request_log.* に記録されるということはロードバランサーを経由せずに直接アクセスが
あるということかもしれません(X-Forwarded-For が付かない)。
ホスト名を DNS で名前解決すると、サーバーの実IPアドレスが返ってきたりしませんでしょうか。

[T.Yokotani]

時間がたっており申し訳ございません。こちらまだ未解決なのですが、TaichiYanagiya様のおっしゃられている通りでございます。
今のところ、一旦特殊なことはせずとりあえず動くようにしてあります。。。
この辺は難しいですね。。。

Answer 2

CustomLog "|/usr/sbin/rotatelogs /home/www/logs/apache/access_log.%Y%m%d 86400 540"      combined_with_realip
CustomLog "|/usr/sbin/rotatelogs /home/www/logs/apache/ssl_request_log.%Y%m%d 86400 540" combined

で出力フォーマットが違うので http と https が同一ログフォーマットではないですね。

なので combined → combined_with_realip と変更すればフォーマットが同じになるかと思います。

また http アクセスの先頭は プロキシサーバーのIP なので 外部からのアクセスの場合は - ですね

Comments

[T.Yokotani]

こちら試してみます！
ありがとうございます。