Github Actionでのenvファイルについて

メールの送信機能を作成したのですが、作成後にrspecを実行したらローカルでは成功するのにgithub上ではエラーになります。

    config.action_mailer.smtp_settings = {
      port:                 587,
      address:              'smtp.gmail.com',
      domain:               'smtp.gmail.com',
      user_name:            ENV["GMAIL_ADDRESS"],
      password:             ENV["GMAIL_2FACTOR_PASSWORD"],
      authentication:       'plain',
      enable_starttls_auto: true
    }

上記を見て貰えばわかる通り、ENVを使っているのでリモートだとuser_nameがないとエラーになります。
ですが、envファイルは情報を載せたくないものを入れているので、コミット対象に入れるわけにもいかず悩んでいます。

試したこととしては、
github actionのワークフローの中でgithubのsecretsを使って呼び出してみてもエラーになりました

name: Test Rspec

on:
  pull_request:
    branches: [ master ]

jobs:
  run_spec:
    name: Run Test
    runs-on: ubuntu-latest
    env:
      AWS_ACCESS_KEY_ID: ${{ secrets.AWS_ACCESS_KEY_ID }}
      AWS_SECRET_ACCESS_KEY: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
    
    steps:
    - uses: actions/checkout@v2
    - name: Set up Ruby 2.6.5
      uses: ruby/setup-ruby@v1
      with:
        ruby-version: 2.6.5
    - name: Test with Rspec
      run: |
        gem install bundler
        bundle config set --local path vendor/bundle  --jobs 4 --retry 3
        bundle install --jobs 4 --retry 3
        bundle exec rspec
    - name: Slack Notification
      uses: rtCamp/action-slack-notify@v2
      env:
        SLACK_CHANNEL: my-portfolio
        SLACK_COLOR: ${{job.status}}
        SLACK_USERNAME: ${{ github.actor }}
        SLACK_TITLE: rspecが実行されました
        SLACK_MESSAGE: 結果を確認してください
        SLACK_WEBHOOK: ${{ secrets.SLACK_WEBHOOK }}

echoを使ってファイルを作成し、それにechoでsecretの情報を入れてみたりしました。

ですが結果は変わらず。

user_nameを空にすることはできないよ。とおこられてしまいます。

envファイルを上げるしかないのでしょうか？

回答よろしくおねがいします。