AWS S3 本番環境でのみエラー InvalidAccessKeyId

Question

環境

rails 5.0.7
ruby 2.5.1
AWS
S3
carrierwave
capistrano
unicorn

エラー

ローカル環境ではS３に画像を保存することができますが、本番環境では下記のエラーが出てしまいます。

######ブラウザ

Excon::Error::Forbidden
<Code>InvalidAccessKeyId</Code><Message>The AWS Access Key Id you provided does not exist in our records.</Message>

コード

id,keyはsecrets.ymlから環境変数を参照しております。

#carrierwave.rb
require 'carrierwave/storage/abstract'
require 'carrierwave/storage/file'
require 'carrierwave/storage/fog'

CarrierWave.configure do |config|
  config.storage = :fog
  config.fog_provider = 'fog/aws'
  config.fog_credentials = {
    provider: 'AWS',
    aws_access_key_id: Rails.application.secrets.aws_access_key_id,
    aws_secret_access_key: Rails.application.secrets.aws_secret_access_key,
    region: 'ap-northeast-1'
  }

  config.fog_directory  = 'app'
  config.asset_host = 'https://s3-ap-northeast-1.amazonaws.com/app'
end

#secrets.yml
production:
  secret_key_base: <%= ENV["SECRET_KEY_BASE"] %>
  aws_access_key_id: <%= ENV["AWS_ACCESS_KEY_ID"] %>
  aws_secret_access_key: <%= ENV["AWS_SECRET_ACCESS_KEY"] %>

lock '3.11.2'

set :application, 'book-cafe-review-app'

set :repo_url, '[e-mail]:usename/app.git'

set :branch, 'master'

set :deploy_to, '/var/www/projects/app'

set :linked_files, %w{ config/secrets.yml }

set :linked_dirs, fetch(:linked_dirs, []).push('log', 'tmp/pids', 'tmp/cache', 'tmp/sockets', 'vendor/bundle', 'public/system', 'public/uploads')

set :keep_releases, 5

set :rbenv_ruby, '2.5.1'

set :log_level, :debug

namespace :deploy do
  desc 'Restart application'
  task :restart do
    invoke 'unicorn:restart'
  end

  desc 'Create database'
  task :db_create do
    on roles(:db) do |host|
      with rails_env: fetch(:rails_env) do
        within current_path do
          execute :bundle, :exec, :rake, 'db:create'
        end
      end
    end
  end

  desc 'Run seed'
  task :seed do
    on roles(:app) do
      with rails_env: fetch(:rails_env) do
        within current_path do
          execute :bundle, :exec, :rake, 'db:seed'
        end
      end
    end
  end

  after :publishing, :restart

  after :restart, :clear_cache do
    on roles(:web), in: :groups, limit: 3, wait: 10 do
    end
  end

  desc 'upload secrets.yml'
  task :upload do
    on roles(:app) do |host|
      if test "[ ! -d #{shared_path}/config ]"
        execute "mkdir -p #{shared_path}/config"
      end
      upload!('config/secrets.yml', "#{shared_path}/config/secrets.yml")
    end
  end
  before :starting, 'deploy:upload'
  after :finishing, 'deploy:cleanup'

ec2サーバーでaws configureコマンドやenv | grep AWSのコマンドを実行してもkeyは正常に設置されているようです。

しかしaws s3 lsコマンドでは

An error occurred (InvalidAccessKeyId) when calling the ListBuckets operation: The AWS Access Key Id you provided does not exist in our records.

と表示されます。

IAMuserにはs3fullaccsessを与えています。

ローカルでは正常に保存されていることから、keyの値が間違えていることは無いと思うので、s3の設定か環境変数の問題だと思うのですが、ここからどうすればいいか分かりません。><

ご存知の方いらっしゃいましたらぜひ教えて下さい。

Answer 1

一先ずsecrets.ymlを介さずにcarrierwave.rbに直接環境変数を読み込ませることで、S3への保存は確認できました。

Answer 2

ec2サーバーでaws configureコマンドやenv | grep AWSのコマンドを実行してもkeyは正常に設置されているようです。

環境変数はどのように設定していますか？ そのコマンドを実行しているユーザのみに設定されたりはしていないでしょうか。
また、aws configureで設定しているキーと実際に使用されているキーは一致していますか？
そのあたりが怪しいと思うので確認してみてください。

Comments

[Shika_Tech]

コメントありがとうございます！！

「そのコマンドを実行しているユーザーのみに設定」しているかどうかはどのように確認するのでしょうか?>_<

aws configureではキーを確認できております！

また、先ほどsecrets.ymlを介さず、carrierwave.rbに直接ENV[KEY}を指定するとS３への保存が確認できました。
このことからsecrets.ymlを適切に踏めてないのではと思うのですが。

アップロードはサーバーのsecrets.ymlを直接開いて確認しているので、
シンボリックリンクの記述が問題かと仮定しております。　>_<

[yu_1985]

secrets.ymlでは環境変数を設定してるのではなく、サーバの環境変数を読み込んでいるだけなので、そもそも環境変数が設定されてないのではないでしょうか？
環境変数の設定はどこでやっていますか？

[yu_1985]

あ、でもcarrierwave.rbで環境変数を読み込んだらうまく行ってるんですね。

> aws configureではキーを確認できております！
これはあまり意味はないです。
というのも、環境変数でキーを設定していてaws configureを実行したユーザが設定しているキーは使ってないからですね。

なので、手動でaws cliを使ってs3を参照できるかどうかはこの場合関係ありません。

個人的にはEC2インスタンスで動かすのであればそもそもキーを使わずにIAMロールを設定してその権限で行うべきと思いますが…。

[Shika_Tech]

環境変数はサーバーの/etc/environmentに設置しております！
この方法ではあまりよろしくないのでしょうか？

スクールのカリキュラムではcarrierwave.rb→secrets.yml→envという3段階でkeyを読み込み事を推奨しているのですが、、、

[yu_1985]

とりあえず環境変数がちゃんとそこで設定してあるなら問題はなさそうですね。
環境変数をそこで管理すること自体の是非は色々考え方がありますが、それは本題と逸れるので割愛します。

Railsの仕様にそこまで詳しいわけではないので違うかもしれませんが、もしかしたらinitializeの時点でsecret.ymlが読み込まれてなかったりしませんかね？
こちらに書いてある方法みたいなやりかたでやったらどうなります？
https://hamayuzin.hatenablog.com/entry/2017/10/27/131352

以下は今回の内容と直接関係ないので読み飛ばしてもいいです。
そもそもですが、無闇矢鱈にアクセスキーを発行することがあまり推奨されていないので、EC2上から動かすのであればインスタンスそのものに権限を与えてその権限を使いましょう、という話ですね。

[Shika_Tech]

教えて頂いたリンクの方法ですともとも設定していた内容とあまり違わないように思うのですが、、、

[yu_1985]

懸念しているのはinitilizeのタイミングでsecrets,ymlが読み込まれているかどうか、です。
リンク先の内容だと環境変数自体はinitializeのタイミングで取得しているので、そこは明確に違います。
もっとも、既にサーバ上で環境変数が設定されているのであればsecrets.ymlにわざわざ書かないで環境変数をそのまま使ってもいいような気はしますが…。

[Shika_Tech]

そうですね、おっしゃるように一先ずはsecrets.ymlを介さずに設定したいと思います！！
色々とお力添えいただきありがとうございました！