※実際にAWSを操作していて発生したエラーなどではなく、作業手順イメージについての質問です。
おおまかな工程を予め知っておきたいと思い、質問させていただいています。
予めご容赦ください。

実現したいこと

ローカルで作成したCRUDアプリを、AWSにデプロイし、サーバー上で動かす

疑問点

ローカルでのデータベースのテーブル定義やカラムの値を、AWS上のRDSにどうやって反映させるのか

現時点での作業手順イメージ

ローカルでRailsのアプリを作る（DBはMySQLを使用）
↓
AWSでS3やECS、RDS(MySQL）の用意
↓
AWSとGithubを連携
↓
デプロイ実行
↓
マイグレーションファイルが読み込まれて、AWS上のMySQLにローカルと同じテーブルが作成される
↓
ローカルのMySQLのレコードをエクスポート
↓
AWS上のMySQLにSQL流し込み
↓
RailsのDB接続設定ファイルの中身について、DBの接続先をローカルからAWS上のMySQLに変更
↓
rails s
↓
サーバー上でRailsのアプリが正常に起動して、CRUD操作もできる

※参考にした記事
https://qiita.com/iwaseasahi/items/b28f8b91c4638e2c57fd
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
質問者は、
・AWS知識は初心者レベル（一応Udemyの初心者向け講座は修了）
・ローカルのアプリをHerokuにデプロイしたものの、DB接続エラーが発生しまくって挫折した
ぐらいのレベルです。
Railsでアプリを作成するにあたって、DBの設定で苦戦しそうな予感がしていまして、
せめて、私の頭の中で考える”おおまかな方向性”は正しい状態にしておきたいと思い、
質問させていただきました。
合っている、まるで違う、といったご指摘や、ざっくりとした手順などの情報ご教示いただけますとありがたく存じます。
宜しくお願いいたします。