常連

### 概要
非常に件数の多いデータをデータベースにINSERTする必要がありまして、
処理に膨大な時間がかかりそうなので、途中失敗を避けるためありえそうなリスクをあらかじめ知っておきたいと考えています。
もし何か知見をお持ちの方がいらっしゃいましたら、アドバイスいただけると助かります。

### 要件
使用するハードとソフトの要件は以下の通りです。
PC：amazon RDSのdb.m7g.large（AWS Graviton3 プロセッサ、メモリ8GB、ストレージ1TB）
OS：Amazon Linux2
データベース：MariaDB10.6

登録するデータ：１レコード当たり1kB程度のデータを約5億(500M)件分
付与するインデックス：auto incrementするIDと、別に登録するIDの　計２つ

### 具体的に質問したいこと
- そもそもPCのスペックは足りそうでしょうか？
まず、データの合計サイズは1kB x 500M件 なので、少なくとも500GBのストレージは必要になるはずです（インデックスも含めるともっとかも）。
一方、メモリの方は実際どの程度必要かよくわかりません。（処理の途中でメモリ上限を超えたりすると困ります。）
他にスペックで問題のありそうなところがあれば教えてほしいです。

　
　
- ありがちな設定ミスがあれば教えてください。
例えば、データベースの隠れた上限閾値があるとか、何か特別な設定が必要とか、
ビッグデータをデータベースに登録するにあたり、何か気を付ける点があれば教えてほしいです。


【MariaDB】約5億レコードを登録できるのでしょうか？

ダンプデータを別のRDSに流し込もうとしているのですが、ファイルは存在しているのに、「No such file or directory」と表示されます。

```
[ec2-user@ip-xxxxxx ~]$ ls -l
合計 5220
-rw-rw-r-- 1 ec2-user ec2-user 5335178  9月  4 16:54 dokugaku_dump.spl
drwxrwxr-x 2 ec2-user ec2-user      31  8月 27 20:20 dump
-rw-rw-r-- 1 ec2-user ec2-user      99  9月  4 15:33 mysqldump_backup.conf
-rw-rw-r-- 1 ec2-user ec2-user     857  9月  4 16:05 new_daly_query.sql
drwxrwxr-x 2 ec2-user ec2-user      55  9月  4 16:29 sql

[ec2-user@ip-xxxxxx ~]$ mysql --defaults-extra-file=/etc/xxxxxxx -h xxxxxxxxxxx.rds.amazonaws.com -uxxxx sample_engineer < ~/dokugaku_dump.sql
-bash: /home/ec2-user/dokugaku_dump.sql: No such file or directory
```
ディレクトリ内に存在するファイルを指定しても同じエラーが表示されます。

```
[ec2-user@ip-xxxxxxx ~]$ ls -l dump/
合計 5212
-rw-r--r-- 1 ec2-user ec2-user 5335178  9月  4 16:45 dokugaku_dump.spl


[ec2-user@ip-xxxxxxx ~]$ mysql --defaults-extra-file=/etc/xxxxxxx -h xxxxxxxxxxx.rds.amazonaws.com -uxxxx sample_engineer < ~/dump/dokugaku_dump.sql
-bash: dokugaku_dump.sql: No such file or directory

```

これはどうしてでしょうか？

ファイルがはきちんとあるのに、「No such file or directory」と表示される

### 実現したいこと

- [ ] amazon linux2023 にmysql8をインストールしたい

### 前提

dockerをawsのec2インスタンスにデプロイした
DBとしてはRDSを作成
ec2インスタンスからRDSへの接続確認は取れている

### 発生している問題・エラーメッセージ
amazon linux2023に以下のコマンドでmysql8インストールを試みる失敗する
```
$ sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm

mysql80-community-release-el7-7.noarch.rpm                                                                                                                                                                            10 kB/s |  11 kB     00:01    
Dependencies resolved.
=====================================================================================================================================================================================================================================================
 Package                                                                 Architecture                                         Version                                               Repository                                                  Size
=====================================================================================================================================================================================================================================================
Upgrading:
 mysql80-community-release                                               noarch                                               el7-7                                                 @commandline                                                11 k

Transaction Summary
=====================================================================================================================================================================================================================================================
Upgrade  1 Package

Total size: 11 k
Is this ok [y/N]: y
Downloading Packages:
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                                                                                                                                             1/1 
  Upgrading        : mysql80-community-release-el7-7.noarch                                                                                                                                                                                      1/2 
  Cleanup          : mysql80-community-release-el7-3.noarch                                                                                                                                                                                      2/2 
  Verifying        : mysql80-community-release-el7-7.noarch                                                                                                                                                                                      1/2 
  Verifying        : mysql80-community-release-el7-3.noarch                                                                                                                                                                                      2/2 
=====================================================================================================================================================================================================================================================
WARNING:
  A newer release of "Amazon Linux" is available.

  Available Versions:

  Version 2023.1.20230628:
    Run the following command to upgrade to 2023.1.20230628:

      dnf upgrade --releasever=2023.1.20230628

    Release notes:
     https://docs.aws.amazon.com/linux/al2023/release-notes/relnotes.html

  Version 2023.1.20230629:
    Run the following command to upgrade to 2023.1.20230629:

      dnf upgrade --releasever=2023.1.20230629

    Release notes:
     https://docs.aws.amazon.com/linux/al2023/release-notes/relnotes.html

=====================================================================================================================================================================================================================================================

Upgraded:
  mysql80-community-release-el7-7.noarch                                                                                                                                                                                                             

Complete!

```

```
$ dnf repolist enabled | grep mysql

mysql-connectors-community     MySQL Connectors Community
mysql-tools-community          MySQL Tools Community
mysql80-community    


```

```
$ sudo dnf install mysql-community-server

MySQL Connectors Community                                                                                                                                                                                           3.3 MB/s |  55 kB     00:00    
MySQL Tools Community                                                                                                                                                                                                 21 MB/s | 925 kB     00:00    
Error: 
 Problem: conflicting requests
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64

以下、省略
```





### 試したこと

デフォルトで入っているsqlが邪魔になっているのかと思い、以下のコマンドを試す
```
$  sudo dnf module disable mysql

Last metadata expiration check: 0:01:16 ago on Thu Jun 29 05:30:30 2023.
Unable to resolve argument mysql
Error: Problems in request:
missing groups or modules: mysql
```
mariadbが邪魔なのかと思い、以下のコマンドを試すも何も出力されない

```
$ yum list installed | grep mariadb
```

インストールしていないパッケージをスキップするために、以下のコマンドを試す

```
$ sudo dnf install mysql-community-server --skip-broken

Last metadata expiration check: 0:45:17 ago on Thu Jun 29 05:30:30 2023.
Dependencies resolved.

 Problem: cannot install the best candidate for the job
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libcrypto.so.10(OPENSSL_1.0.2)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
=====================================================================================================================================================================================================================================================
 Package                                                            Architecture                                       Version                                                   Repository                                                     Size
=====================================================================================================================================================================================================================================================
Skipping packages with broken dependencies:
 mysql-community-server                                             x86_64                                             8.0.33-1.el7                                              mysql80-community                                              64 M

Transaction Summary
=====================================================================================================================================================================================================================================================
Skip  1 Package

Nothing to do.
Complete!

```

ec2上からRDSに接続してmysql操作がしたいため今回の運びになりました。
もしsshの接続でec2上に入ってappコンテナに入り、sqlのコマンド実行みたいな形でなく
RDSを操作できる方法はあるのでしょうか。
AWS初心者にて説明不足な点がありますが、お力添えいただければと思います。


## 補足情報

Rails6
Docker
EC2
RDS


amazon linux2023 にmysql8をインストールしたい

表題の件なのですが

オンプレミスでOracle11.2.0.1を使用しており
RDS for Oracleの12.1.0.2へデータ移行しようとしています。



Oracle11.2.0.3以降であればexpdpにオプションVersion=12を付けてやれば12C側で取り込むことができるようですが
Oracle11.2.0.1では無理でしょうか。

12C側でdumpインポートを一度してみたのですが、以下エラーで進めません。
> UDI-00018: Data Pump client is incompatible with database version 12.1.0.2.0

諦められず調べているのですが、なにか情報ありましたらご教示願いたいです。
宜しくお願い致します。

Oracle11.2.0.1から12.1.0.2へData Pumpを使用したデータ移行について

RDS FOR Oracle 19cを利用しています。

オンプレのOracle11gからのデータ移行をするに伴い、旧exp/impを利用しています。理由はexpdp/impdpだと文字化けするということです。
(この点については確認したわけではなく人から聞いた話です)


そこで、RDS FOR Oracle 19cへ旧impコマンドを使用してインポートしようとしてみましたが、やり方がよくわかりません。
そもそもRDS FOR ORACLEで旧exp/impを実行できるのでしょうか。(RDSでのexpdp/impdpはS3を利用して何度も行っておりますが・・・)

今後はexpdp/impdpを使うように軌道修正するつもりですが、exp/impがRDSでも使えるのか知りたく詳しい方、ご教示願いたいです。

RDS FOR Oracle(19c)でのimpコマンドの実行について

現在、ポートフォリオをherokuからAWSのEC2にデプロイしようとしている初心者です。

インフラの構成としては、パブリックサブネット内にEC2インスタンス、プライベートサブネット内にRDSを利用してDBインスタンスを配置しています。
※OSはAmazon Linux 2を使用しています。
そして現在、EC2にMySQLをインストールする段階でエラーが起きています。

sshにでインスタンスにログイン後、MariaDB用パッケージを削除し、
```
$ sudo yum remove mariadb-libs
```
MySQLのリポジトリをyumに追加
```
$ sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el8-1.noarch.rpm
```
以下のコマンドでMySQLに必要なパッケージを取得しようとすると、
```
$ sudo yum install --enablerepo=mysql80-community mysql-community-server
```
このようなエラーが発生し、mysql-community-serverをインストールできません。
```
読み込んだプラグイン:extras_suggestions, langpacks, priorities, update-motd
Repository nodesource is listed more than once in the configuration
Repository nodesource-source is listed more than once in the configuration
amzn2-core                                                                                                                                                                           | 3.7 kB  00:00:00     
20 packages excluded due to repository priority protections
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ mysql-community-server.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: mysql-community-common(x86-64) = 8.0.26-1.el8 のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: mysql-community-client(x86-64) >= 8.0.11 のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.0)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.3)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3()(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> トランザクションの確認を実行しています。
---> パッケージ mysql-community-client.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: mysql-community-client-plugins = 8.0.26-1.el8 のパッケージ: mysql-community-client-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: mysql-community-libs(x86-64) >= 8.0.11 のパッケージ: mysql-community-client-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-client-8.0.26-1.el8.x86_64
---> パッケージ mysql-community-common.x86_64 0:8.0.26-1.el8 を インストール
---> パッケージ mysql-community-server.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.0)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.3)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3()(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> トランザクションの確認を実行しています。
---> パッケージ mysql-community-client.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-client-8.0.26-1.el8.x86_64
---> パッケージ mysql-community-client-plugins.x86_64 0:8.0.26-1.el8 を インストール
---> パッケージ mysql-community-libs.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-libs-8.0.26-1.el8.x86_64
---> パッケージ mysql-community-server.x86_64 0:8.0.26-1.el8 を インストール
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.0)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3(TIRPC_0.3.3)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libc.so.6(GLIBC_2.28)(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性の処理をしています: libtirpc.so.3()(64bit) のパッケージ: mysql-community-server-8.0.26-1.el8.x86_64
--> 依存性解決を終了しました。
エラー: パッケージ: mysql-community-client-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libc.so.6(GLIBC_2.28)(64bit)
エラー: パッケージ: mysql-community-server-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libtirpc.so.3(TIRPC_0.3.3)(64bit)
エラー: パッケージ: mysql-community-server-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libc.so.6(GLIBC_2.28)(64bit)
エラー: パッケージ: mysql-community-server-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libtirpc.so.3(TIRPC_0.3.0)(64bit)
エラー: パッケージ: mysql-community-server-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libtirpc.so.3()(64bit)
エラー: パッケージ: mysql-community-libs-8.0.26-1.el8.x86_64 (mysql80-community)
             要求: libc.so.6(GLIBC_2.28)(64bit)
 問題を回避するために --skip-broken を用いることができます。
 これらを試行できます: rpm -Va --nofiles --nodigest
```

追加したMySQL Yum リポジトリが間違っているのでしょうか？
原因がわからず、ここ数日ずっと悩んでいます。
今回、初めてAWSを利用するので、そもそも間違っていることばかりかもしれませんが、
どなたかご教授くださると幸いです。よろしくお願いいたします。

MySQLをインストールできない

Amazon Workspacesの環境についてです。

現在、VPC内にRDS,Amazon OpenSearch Serviceを作成しており、
これらにアクセスする為の環境として同VPC内にworkspacesを作成しています。
但し、privateな環境で外部との通信は行っていない環境です。

そこで質問なのですが、
RDSにアクセスするためのDBクライアントの導入を行いたいのですが、
AWS初学者のため良い方法が思いつかず困っており、アドバイス頂きたいです。


考えたこととしてはS3にDBクライアントのインストーラーを格納し、
workspacesから参照&インストールを考えましたが、どうやって外部通信が遮断されている状態で、
VPC外に存在しているS3を参照してよいか分からず…。
その他にもWorkDocs経由でクライアント追加を考えましたが、外部通信が出来てない為利用不可でした。

他にも良い方法があるかもしれませんが、インストーラー等のファイルをやり取りするだけなので、
低コストで運用が出来る方法があればご教授頂きたいです。よろしくお願いします。

privateなAmazon Workspacesの環境からS3へのアクセス方法

恐れ入ります。

現在、仕事でAmazon RDS のMySQLを使用しています。

主に、ログデータの移動のようなことをバッチで行っています。

１回のバッチで、１００～１０００万件ほどの処理を何回か実行します。

単純なSQLで、１つのテーブルから１つのテーブルへの移動で、
insert... select で実行しています。

ただ、１０秒程度で終わる処理が、
繰り返していると、あるときに突然遅くなり、２～３分かかるようになってしまいます。

この重い処理を通り抜けると、以前よりは遅いですが速度が戻ってきます。

原因を調べている間に、primary や index をすべて外して処理することも実施しましたが、
体感できる速度の変化はありませんでした。。

RDSのモニターでは、
CPUは20%程度、使用できるメモリーも5GB以上の余裕があり安定しているようです。

index も付いていない、単純な１対１のテーブルの insert... select 文ですので、
SQL自体に問題があるとは考えにくいということになり、MySQLの設定調整を調べてみました。

それぞれのサイトで紹介されていた以下のパラメーターを変更してみたのですが、
体感できる効果はありませんでした。

innodb_buffer_pool_size
innodb_lru_scan_depth
innodb_log_buffer_size
innodb_log_file_size
innodb_log_file_size
bulk_insert_buffer_size
max_allowed_packet
innodb_log_file_size



同様の現象について、ご経験のある方がいれば、
教えていただけると幸いです。