常連

RDS FOR Oracle 19cを利用しています。

オンプレのOracle11gからのデータ移行をするに伴い、旧exp/impを利用しています。理由はexpdp/impdpだと文字化けするということです。
(この点については確認したわけではなく人から聞いた話です)


そこで、RDS FOR Oracle 19cへ旧impコマンドを使用してインポートしようとしてみましたが、やり方がよくわかりません。
そもそもRDS FOR ORACLEで旧exp/impを実行できるのでしょうか。(RDSでのexpdp/impdpはS3を利用して何度も行っておりますが・・・)

今後はexpdp/impdpを使うように軌道修正するつもりですが、exp/impがRDSでも使えるのか知りたく詳しい方、ご教示願いたいです。

RDS FOR Oracle(19c)でのimpコマンドの実行について

### 概要
非常に件数の多いデータをデータベースにINSERTする必要がありまして、
処理に膨大な時間がかかりそうなので、途中失敗を避けるためありえそうなリスクをあらかじめ知っておきたいと考えています。
もし何か知見をお持ちの方がいらっしゃいましたら、アドバイスいただけると助かります。

### 要件
使用するハードとソフトの要件は以下の通りです。
PC：amazon RDSのdb.m7g.large（AWS Graviton3 プロセッサ、メモリ8GB、ストレージ1TB）
OS：Amazon Linux2
データベース：MariaDB10.6

登録するデータ：１レコード当たり1kB程度のデータを約5億(500M)件分
付与するインデックス：auto incrementするIDと、別に登録するIDの　計２つ

### 具体的に質問したいこと
- そもそもPCのスペックは足りそうでしょうか？
まず、データの合計サイズは1kB x 500M件 なので、少なくとも500GBのストレージは必要になるはずです（インデックスも含めるともっとかも）。
一方、メモリの方は実際どの程度必要かよくわかりません。（処理の途中でメモリ上限を超えたりすると困ります。）
他にスペックで問題のありそうなところがあれば教えてほしいです。

　
　
- ありがちな設定ミスがあれば教えてください。
例えば、データベースの隠れた上限閾値があるとか、何か特別な設定が必要とか、
ビッグデータをデータベースに登録するにあたり、何か気を付ける点があれば教えてほしいです。


【MariaDB】約5億レコードを登録できるのでしょうか？

### 実現したいこと

シェルスクリプトでDB①（MYSQL）からSELECTした値を配列にして、さらにDB②（MYSQL）のテーブルでその配列のidに部分一致する行をSELECTしたいです。

### 前提

シェルスクリプトで以下を実現したいのですが、SELECTしてきたidを配列にする方法、またその配列を使う方法がわからずご教示いただきたいです。

①select id from sampletable where selectid=21;の実行結果（id）を配列に格納
②別のSELECT分で配列のidに部分一致する行を抽出（こちらもわからずご教示いただきたいです）


### 該当のソースコード

```shellscript
#mysql.sh
#!/bin/bash

# ①SELCT結果を配列にする
sql="select id from sampletable where selectid=21;"
result=$(mysql -u${USER} -p${PASS} -D${DB} -h ${HOST} -e "${sql}")


if [[ $? -eq 0 ]]; then
  echo "${result}" | while read data
  do
    column=(`echo "$data"`)
    echo "${column}"
  done
else
  echo "db error."
  exit 1
fi

# ②①の配列の値のidにカラム名mail_idが部分一致する行をSELECTで抽出

select_sql="select * from dev_table where mail_id like "%${column}%""
result=$(mysql -u${USER2} -p${PASS2} -D${DB2} -h ${HOST2} -e "${select_sql}")

```




↓columnの中身（この結果を配列にしたい）
```
host@./mysql.sh
id
1
3
4
5
6
7
8
```

シェルスクリプト/MYSQL selectしたidを格納し他のSQL文で使用したい

ダンプデータを別のRDSに流し込もうとしているのですが、ファイルは存在しているのに、「No such file or directory」と表示されます。

```
[ec2-user@ip-xxxxxx ~]$ ls -l
合計 5220
-rw-rw-r-- 1 ec2-user ec2-user 5335178  9月  4 16:54 dokugaku_dump.spl
drwxrwxr-x 2 ec2-user ec2-user      31  8月 27 20:20 dump
-rw-rw-r-- 1 ec2-user ec2-user      99  9月  4 15:33 mysqldump_backup.conf
-rw-rw-r-- 1 ec2-user ec2-user     857  9月  4 16:05 new_daly_query.sql
drwxrwxr-x 2 ec2-user ec2-user      55  9月  4 16:29 sql

[ec2-user@ip-xxxxxx ~]$ mysql --defaults-extra-file=/etc/xxxxxxx -h xxxxxxxxxxx.rds.amazonaws.com -uxxxx sample_engineer < ~/dokugaku_dump.sql
-bash: /home/ec2-user/dokugaku_dump.sql: No such file or directory
```
ディレクトリ内に存在するファイルを指定しても同じエラーが表示されます。

```
[ec2-user@ip-xxxxxxx ~]$ ls -l dump/
合計 5212
-rw-r--r-- 1 ec2-user ec2-user 5335178  9月  4 16:45 dokugaku_dump.spl


[ec2-user@ip-xxxxxxx ~]$ mysql --defaults-extra-file=/etc/xxxxxxx -h xxxxxxxxxxx.rds.amazonaws.com -uxxxx sample_engineer < ~/dump/dokugaku_dump.sql
-bash: dokugaku_dump.sql: No such file or directory

```

これはどうしてでしょうか？

ファイルがはきちんとあるのに、「No such file or directory」と表示される

### 実現したいこと

- [ ] amazon linux2023 にmysql8をインストールしたい

### 前提

dockerをawsのec2インスタンスにデプロイした
DBとしてはRDSを作成
ec2インスタンスからRDSへの接続確認は取れている

### 発生している問題・エラーメッセージ
amazon linux2023に以下のコマンドでmysql8インストールを試みる失敗する
```
$ sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm

mysql80-community-release-el7-7.noarch.rpm                                                                                                                                                                            10 kB/s |  11 kB     00:01    
Dependencies resolved.
=====================================================================================================================================================================================================================================================
 Package                                                                 Architecture                                         Version                                               Repository                                                  Size
=====================================================================================================================================================================================================================================================
Upgrading:
 mysql80-community-release                                               noarch                                               el7-7                                                 @commandline                                                11 k

Transaction Summary
=====================================================================================================================================================================================================================================================
Upgrade  1 Package

Total size: 11 k
Is this ok [y/N]: y
Downloading Packages:
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                                                                                                                                             1/1 
  Upgrading        : mysql80-community-release-el7-7.noarch                                                                                                                                                                                      1/2 
  Cleanup          : mysql80-community-release-el7-3.noarch                                                                                                                                                                                      2/2 
  Verifying        : mysql80-community-release-el7-7.noarch                                                                                                                                                                                      1/2 
  Verifying        : mysql80-community-release-el7-3.noarch                                                                                                                                                                                      2/2 
=====================================================================================================================================================================================================================================================
WARNING:
  A newer release of "Amazon Linux" is available.

  Available Versions:

  Version 2023.1.20230628:
    Run the following command to upgrade to 2023.1.20230628:

      dnf upgrade --releasever=2023.1.20230628

    Release notes:
     https://docs.aws.amazon.com/linux/al2023/release-notes/relnotes.html

  Version 2023.1.20230629:
    Run the following command to upgrade to 2023.1.20230629:

      dnf upgrade --releasever=2023.1.20230629

    Release notes:
     https://docs.aws.amazon.com/linux/al2023/release-notes/relnotes.html

=====================================================================================================================================================================================================================================================

Upgraded:
  mysql80-community-release-el7-7.noarch                                                                                                                                                                                                             

Complete!

```

```
$ dnf repolist enabled | grep mysql

mysql-connectors-community     MySQL Connectors Community
mysql-tools-community          MySQL Tools Community
mysql80-community    


```

```
$ sudo dnf install mysql-community-server

MySQL Connectors Community                                                                                                                                                                                           3.3 MB/s |  55 kB     00:00    
MySQL Tools Community                                                                                                                                                                                                 21 MB/s | 925 kB     00:00    
Error: 
 Problem: conflicting requests
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.11-1.el7.x86_64
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.12-1.el7.x86_64
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.13-1.el7.x86_64

以下、省略
```





### 試したこと

デフォルトで入っているsqlが邪魔になっているのかと思い、以下のコマンドを試す
```
$  sudo dnf module disable mysql

Last metadata expiration check: 0:01:16 ago on Thu Jun 29 05:30:30 2023.
Unable to resolve argument mysql
Error: Problems in request:
missing groups or modules: mysql
```
mariadbが邪魔なのかと思い、以下のコマンドを試すも何も出力されない

```
$ yum list installed | grep mariadb
```

インストールしていないパッケージをスキップするために、以下のコマンドを試す

```
$ sudo dnf install mysql-community-server --skip-broken

Last metadata expiration check: 0:45:17 ago on Thu Jun 29 05:30:30 2023.
Dependencies resolved.

 Problem: cannot install the best candidate for the job
  - nothing provides libcrypto.so.10()(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libssl.so.10()(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libssl.so.10(libssl.so.10)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
  - nothing provides libcrypto.so.10(OPENSSL_1.0.2)(64bit) needed by mysql-community-server-8.0.33-1.el7.x86_64
=====================================================================================================================================================================================================================================================
 Package                                                            Architecture                                       Version                                                   Repository                                                     Size
=====================================================================================================================================================================================================================================================
Skipping packages with broken dependencies:
 mysql-community-server                                             x86_64                                             8.0.33-1.el7                                              mysql80-community                                              64 M

Transaction Summary
=====================================================================================================================================================================================================================================================
Skip  1 Package

Nothing to do.
Complete!

```

ec2上からRDSに接続してmysql操作がしたいため今回の運びになりました。
もしsshの接続でec2上に入ってappコンテナに入り、sqlのコマンド実行みたいな形でなく
RDSを操作できる方法はあるのでしょうか。
AWS初心者にて説明不足な点がありますが、お力添えいただければと思います。


## 補足情報

Rails6
Docker
EC2
RDS


amazon linux2023 にmysql8をインストールしたい


### **解決したいこと**
AWSのRDSで作成したMySQLDBに対して、EC2上に作成したWebサーバから
ASP.NET又はWindowsフォームアプリからDB接続を行う際、
初回認証（ConnectionOPEN）時に異常に時間がかかる問題を解決したい。


### **前提条件**
自社のAWS契約（環境）と客先のAWS契約（環境）の2つがあり
前者と後者で同じ設定で環境を作成しても状況が変わってしまう
※但し、自社環境は私自身が作成したが、客先環境は別の会社が作成

### **環境**
[RDS] MySQLバージョン：8.0.33
[EC2] OSバージョン：Windows_Server-2022-Japanese

### **MySQLパラメータグループ設定**
character_set_client：utf8mb4
character_set_connection：utf8mb4
character_set_database：utf8mb4
character_set_results：utf8mb4
character_set_server：utf8mb4
skip_name_resolve：1
time_zone：Asia/Tokyo

●MySQLの接続に使用するユーザはホストを「%」で指定済

●デフォルトの認証プラグインは「mysql_native_password」であることを確認済
　ログインに使用しているユーザの認証プラグインは「mysql_native_password」であることを確認済

●RDS／EC2共に同じ「ap-northeast-1a」上に存在

●RDS／EC2共に同じVPC上に存在

●RDS側のセキュリティグループ設定でEC2マシンが属するセキュリティグループの3306ポートアクセスを許可

●MySQL workbench／コマンドラインを使用してWebサーバからMySQLDBへの接続は確認済
　※この接続では、両環境共に接続時に時間がかかるなどの状況は全く発生しない
　（体感的に時間がかかるなどの感覚は全くなし。一瞬で接続が完了する）

●IISに構築したWebサイトは、サイト上にユーザID／パスワードを入力して
　ログインした後、サイトで登録／照会等を行うビジネスプログラム(VB.NET)

●Windowsフォームアプリは、起動後ユーザID／パスワードを入力して
　ログインした後、サイトで登録／照会等を行うビジネスプログラム(VB.NET)

●両プログラム共にDBアクセスには「MySql.Data.dll」を使用しており、バージョンは8.1.0.0を使用
　
　
### **実際の状況**
WebサイトとWindowsフォームアプリで若干動作に際があるため分けて記述
Webサイトの状況
・自社と客先の両環境には全く同じ設定でIISサーバを構築

・構築したIIS上に全く同じASP.NETプログラムを配置してWebサイトを構築（同じサイト名）
　※個別の設定変更等は全く行っていない

・IISに構築したWebサイトはURLをたたき、login.aspx上でユーザIDとパスワードを入力して
　ログインを行う初回のみConnectionをOPENする際に13秒程度の時間がかかる。
　※コード上のOPEN処理に時間がかかっていることはログにて確認済

・一度ログインすると、しばらくはそのサイトに再度ログインを行っても
　即時ログインできる状況が続く（メモリに認証した状況が残っているようなイメージ）

・プログラム内でDBにアクセスする際は、必要に応じてOPENしているため
　ログイン中状態で時間が経過すると再度認証に時間がかかる状況が発生する
　
　
Windowsフォームアプリの状況
・自社と客先の両環境には全く同じプログラムを配置

・EXEを起動し、表示された画面でユーザIDとパスワードを入力してログインを行う
　このログインを行う際にConnectionをOPENする際に15～16秒程度の時間がかかる

・プログラムを終了すると再度ログインした際に同じく時間がかかる

・プログラム内でDBにアクセスする際は、必要に応じてOPENしているため
　ログイン中状態で時間が経過すると再度認証に時間がかかる状況が発生する


### ログイン処理のサンプルソース
Imports MySql.Data.MySqlClient

Private conn As MySqlConnection = New MySqlConnection("ConnectionString")
conn.Open()  ＜＝ここで時間がかかってしまう
　
　
　
また、Windowsフォームアプリの場合、接続の際に数十回に一回程度
以下のエラーメッセージが発生することがある
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
MySql.Data.MySqlClient.MySqlException (0x80004005): Authentication to host 
'＊＊DBHOST＊＊' for user '＊＊DBUSER＊＊' using method 'mysql_native_password' 
failed with message: Reading from the stream has failed. 
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊


両環境で同じになるように設定を確認しているにもかかわらず
動作状況が変わってしまうことに困っております。

誰か理由をご存じの方がいらっしゃいましたらご教授頂けますようお願いします。




AWS RDSのMySQL認証で初回認証に異常に時間がかかる

### 実現したいこと

Lambdaを用いてRDSからテーブルデータをエクスポートし、CSV形式でS3へアップロードする。

### 方法
①Lambdaを使ってdumpコマンドを実行し、RDSからデータを取得。CSVへ変換しS3にアップロード。

②Lambda内でSQLでテーブルデータをフェッチし、CSVへ変換しS3にアップロード。


### 質問内容

方法①と②のメリットデメリットがわからず、どちらを採用すればよいか悩んでいます。

Lambda関数を記述する言語はPython3.xです。

初めての質問で至らぬ点もあると思いますが、よろしくお願いいたします。

Lambdaを使ってRDSからデータをエクスポート

### 実現したいこと
AWS上でJava x MySQLのwebアプリを実現したい

### 前提
https://qiita.com/AIM-Z/items/4848e061f21eacf0e815
を参考にAWSのIAM,EC2,RDSを作成しましたが、
Java x MySQLの部分が失敗します。

### 発生している問題・エラーメッセージ
：①アプリケーションサーバー ⇨ AWS EC2にtomcat9.0(eclipseとver一致させている）をインストール、ローカルのeclipseで作成したWARファイルを搭載。
：②データベース⇨ ①と同じEC2上にmysqlをインストール。DBの作成まで完了。

①にて作成したjavaのアプリは動作するが、DBアクセスの部分ができていない。
```
java.lang.NullPointerException
	dao.AddressDAO.findAll(AddressDAO.java:58)
	model.GetAdressListLogic.execute(GetAdressListLogic.java:10)
	servret.AddressBookIndex.doGet(AddressBookIndex.java:33)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:529)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:623)
	org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:51)
```

### 該当のソースコード
//ここのURLを、AWSのDBにしたい。
private final String JDBC_URL = "jdbc:mysql://localhost:3306/Attendance?characterEncoding=UTF8&serverTimezone=Asia/Tokyo";
	private final String DB_USER = "AWSのDBユーザー名";
	private final String DB_PASS = "AWSのDBパスワード";

	// ログインアカウントを探す
	public User findByLogin(LoginUser loginUser) {
		User user = new User();

		// データベース接続に使用する情報
		try (Connection con = DriverManager.getConnection(JDBC_URL, DB_USER, DB_PASS)) {
（以下処理)


### 試したこと
・jdbcUrlの文字列。
localhostから、RDSのエンドポイント名：ポート/DB名に変更。
RDSのエンドポイント名：ポート/DB名?characterEncoding=UTF-8&serverTimezone=JSTに変更。
・cllasspathコマンドで ./:./mysql-connector-java-8.0.26.jarを追加
・dateコマンドでJSTが表示されるように設定
・/tomcat/9/libにmysql-connector-java-8.0.26.jarを追加
・RDS側のtime_zoneをAsia/Tokyoに設定

### 補足情報（FW/ツールのバージョンなど）

・mysql Ver 5.7.42(Amazon RDS)
・Apache Tomcat/9.0.75
・openjdk version "11" 2018-09-25
OpenJDK Runtime Environment 18.9 (build 11+28)
OpenJDK 64-Bit Server VM 18.9 (build 11+28, mixed mode)
・開放ポート：80,443,22, 8080(tomcat用), 3306(mysql用)
