常連

## テーマ、知りたいこと

MariaDBの肥大化対策について

## 背景、状況

フリー(オープン)のDBを比較検討しています。

MariaDBの「肥大化対策」を調べていて…
　・データベースをエクスポート（ダンプ）します
　・MySQLを停止
　・設定ファイを変更してテーブル単位で管理
　・MySQLを起動
　・データベースをインポート
の様な対策は、ネットにあるのですが、
(週１/月1の)日常的に使える「バキューム」とか「コンパクト化」の様なコマンドはあるのでしょうか？
初心者の疑問で申し訳ありません。


MariaDBの肥大化対策

### 概要
非常に件数の多いデータをデータベースにINSERTする必要がありまして、
処理に膨大な時間がかかりそうなので、途中失敗を避けるためありえそうなリスクをあらかじめ知っておきたいと考えています。
もし何か知見をお持ちの方がいらっしゃいましたら、アドバイスいただけると助かります。

### 要件
使用するハードとソフトの要件は以下の通りです。
PC：amazon RDSのdb.m7g.large（AWS Graviton3 プロセッサ、メモリ8GB、ストレージ1TB）
OS：Amazon Linux2
データベース：MariaDB10.6

登録するデータ：１レコード当たり1kB程度のデータを約5億(500M)件分
付与するインデックス：auto incrementするIDと、別に登録するIDの　計２つ

### 具体的に質問したいこと
- そもそもPCのスペックは足りそうでしょうか？
まず、データの合計サイズは1kB x 500M件 なので、少なくとも500GBのストレージは必要になるはずです（インデックスも含めるともっとかも）。
一方、メモリの方は実際どの程度必要かよくわかりません。（処理の途中でメモリ上限を超えたりすると困ります。）
他にスペックで問題のありそうなところがあれば教えてほしいです。

　
　
- ありがちな設定ミスがあれば教えてください。
例えば、データベースの隠れた上限閾値があるとか、何か特別な設定が必要とか、
ビッグデータをデータベースに登録するにあたり、何か気を付ける点があれば教えてほしいです。


【MariaDB】約5億レコードを登録できるのでしょうか？

### 実現したいこと
例えば以下のようなテーブルがあったとき、
|id|number|data|
|:--|:--:|--:|
|1|ABC|AAA|
|2|DEF|BBB|
|3|ABC|CCC|
|4|GHI|DDD|

以下のようなデータを取り出したいです
|id|number|data|
|:--|:--:|--:|
|2|DEF|BBB|
|3|ABC|CCC|
|4|GHI|DDD|

`id1`と`id3`の`number`が重複しているので、idの大きい`id3`、および`number`が重複していない`id2,id4`のみを返りとして得たいです。

### 発生している問題・分からないこと
返りのデータとしてはすべての列を得たいです。
分けてデータを得てから結合する方法ももしかしたらあるのかなと思いますが、可能であれば最初から一つのテーブルで受け取りたいです。(分けて得たとしてもid降順でソートできればよいのですが)

その方法がわからず質問させていただきました。
よろしければご教授いただければと思います。

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
`DINSTINCT`節を使ってしまうと、すべての列を選択できず、重複している行のみ抽出する方法や重複していない行のみを抽出する方法は見つかったのですが、実現したいことをやるためには少し工夫がいりそうだというところではありましたが、初学者のため調べ方が外れていそうでうまく情報を得られないでいます。

### 補足
MariaDB および InnoDB です

MariaDB ですべての列を選択したうえで重複していない行と、重複した行を1だけ取得したい

## テーマ、知りたいこと
MariaDBからMySQLに変更するメリットは何でしょうか？

## 背景、状況
[ConoHa サービスリニューアルのお知らせ](https://www.conoha.jp/vps/news/?btn_id=news--news_vps-news&ap=2015053190)

> ③【DBサーバーがリニューアル】
> データベース管理システムを「MariaDB」から世界で最も普及している「MySQL」に変更

ConoHaで上記のニュースがありました。

私の推測ですが、ConoHaのようにサービスとして提供する場合はMariaDBのほうが良いはずです。
MySQLは商用利用が有償、MariaDBは無償なのでMySQLは無駄なコストがかかります。
ConoHaの利益が減るデメリットがあると思います。

それでも、利益を減らしてまでMariaDBからMySQLに変更するメリットは何が考えられるでしょうか？

私の知る限り以下のようなライセンス体系です。

||商用利用|料金|
|:--|:--:|--:|
|MySQL（GPLライセンス）|不可能|無償|
|MySQL（商用ライセンス）|可能|有償|
|MariaDB（GPL v2）|可能|無償|

※MySQLは2つのライセンスが存在していて、MariaDBは1つのライセンスが存在する。
※誤っていたら指摘してください。

### 世界で最も普及している「MySQL」
GitHubのスター数基準で判断すると普及、認知度、人気度の差が倍近くあると判断できなくはない気がします。
しかし、MariaDBはMySQLのforkであり、基本的に互換性があるのであえてMySQLを採用する優位性があるとも思えません。

[2023/12/02 時点で MySQL は 9.7k](https://github.com/mysql/mysql-server)
[2023/12/02 時点で MariaDB は 5.1k](https://github.com/MariaDB/server)

### Google Cloud
少し話がズレますが、Google CloudもMariaDBが存在しません。
次の3点を提供しています。
※AWSとAzureはMariaDBとMySQLどちらも提供している

ConoHaと同様に、MariaDBのかわりにMySQLを採用するメリットがあったのでしょうか？

- MySQL
- PostgreSQL
- Microsoft SQL Server





MariaDBからMySQLに変更するメリットは？

### 前提・実現したいこと
MySQLに管理者権限でログインして、ユーザーを一件作りたい。

### 発生している問題・エラーメッセージ
MySQLにrootでログインできない。

### 該当のソースコード
```ここに言語名を入力
/usr/bin/mysqld_safe --skip-grant-tables
/etc/init.d/mysql stop

```
いずれも「指定されたパスが見つかりません」と出るため、パスワードなしでのログインができない。

### 試したこと

どこまで情報が必要か分からないので、不要な情報が混ざっている可能性もありますが、分かる限り書きます。

VisualStudioCodeでPHPを組んでいました。
XAMPPでMariaDBを起動、root権限でデータベースtennisを作成。
tennisだけが使えるユーザーuserを作成→エラー。
SELECT user FROM user; 
でユーザー一覧が見られるとの事で実行。
userがあるのにログインできない、rootが三行ある。
user削除→作り直し→エラー
rootが三行あるなら消しても大丈夫なのでは？と思ったためrootを指定して一回削除。
ログアウト。
ログインのためにXAMPPを起動すると、Apache、MySQLともにエラー。
再インストールしても直らなかったため、管理ツール－サービスを自動から停止させると、Apache、MySQLとも起動。
https://hit.hateblo.jp/entry/2016/05/23/183341
該当のコードはこちらを参考にしました。

勝手ですみませんが、職場からの投稿なので火曜日までは試せません……。

### 補足情報（FW/ツールのバージョンなど）
XAMPP（v3.2.4）
XAMPPはC直下にインストールしています。
c:\xampp\mysql
OS：Windows 10 Home 64ビット版

MySQLに管理者権限でログインできない

データベースに１次元配列を保存したいのですが、うまくいきません。
動かないのですが、イメージとしてソースをアップ致しました。
初心者で申し訳ありませんが、よろしくお願い致します。
___
**備考**
・MariaDBを使用しています。
・配列をセットするときに適切なデータベースの「データ型」が分かりません(例えば、VARCHAR(30)のようなもの)
・PHPの変数「tdata」に１次元配列のデータが格納されています。
___

```PHP
try {
            $this->pdo->beginTransaction();
            
            
            //データベースのtestテーブルにtdata（１次元配列）を格納する
            $sql = "INSERT  INTO test (tdata)
            VALUES ( :tdata)";

            $stmh = $this->pdo->prepare($sql);
            $stmh->bindValue(':tdata',    tdata,    PDO::PARAM_STR ); //ここもPDO::PARAM_STRで大丈夫でしょうか・・
            $stmh->execute();
            $this->pdo->commit();
        } catch (PDOException $Exception) {
            $this->pdo->rollBack();
            print "エラー：" . $Exception->getMessage();
        }
```

データベースに配列を格納したいのですがうまくいきません。

いつも本当に助かっています。
テーブルの設計についてご意見をお聞かせください。

仕事でデータロガーのシステムというものを実装しました。
そのシステムは外部の機械から何らかのデータを受けとり、保存していくだけの単純なものですが、受け取るデータ構造を可変としています。

---

例：
- 機械Ａは 気温、湿度、気圧
- 機械Ｂは 電圧、電流
- これらのデータが各機械から１０秒毎に（23℃, 30%, 1000hPa というように）送信されるので受信し保存する。


条件：
- 機械毎のデータ定義を画面から設定する。
(何カラムあり、どのカラムが何のデータで、型は何で、有効桁数が何桁で、単位は何か、等）
- 各カラムのデータ型は真偽値、整数値、小数値、文字列がある。
- 機械Ａも機械Ｂも数千台程度接続されている。今後機械Ｃも追加される
- データを元に各機械毎のグラフを描画したり全体で集計したりする。閾値判定も行う。
- データ蓄積後、定義の変更はある程度許容する。（列の追加や単位の変更など）

---

これらを実現するためのテーブル構造の案として、下段に記載した幾つかの案などがあるかと思います。
実はもうこのシステムは「案１」で開発が終了し、問題なく稼働しています。
上記は例ですが、実際に数億レコードのデータが蓄積されています。
ただ、設計実装が私一人で周りに頼れる人もなく、設計に不安があるため、皆様のご意見をお聞かせください。

**質問１．情報が少なくて恐縮ですが、「案１」を採用したのは正解だと思いますか？
質問２．現実的な案として下段以外のものはありますか？
質問３．下段の案の中で、上記条件に対して「ありえない」と考えるものはありますか？
質問４．一般的にこういったもののデザインパターンはありますか？
質問５．他、経験談や参考情報などありましたらご教示ください。**


実際に問題なく稼働しているのだからいいじゃん、という部分もあるかと思いますが、後学のためよろしくお願いいたします。
※できるだけ広くご意見を頂きたいので少し長めに質問をオープンしておくかもしれません。

CentOS7.2, MariaDB10.0, Java8

---

### 案

**１．ID, 機械ID, キー(VARCHAR), 値(VARCHAR), 日時 のカラムを持つテーブルを用意する。**
  ※一旦値をVARCHARで保存し(小数値1.23ならそのままテキストで)、読み出し時に各定義の型に合わせて解釈します。
  ※１カラム（例えば気温）だけで１レコード消費します。
  ※閾値判定時、VARCHARカラムに対して平気で 「値 > 1.23」 のようなことをやります。
  ※１回の送信データを示す集計基準は機械IDと日時です。
  ※この案を採用しました。


**２．「定義ごとに柔軟にテーブルを作る」システムを作る。**
  ※プログラムが CREATE TABLE 文を発行します。
  ※なんだか気持ち悪いという理由と、システムが複雑化しそうという理由で却下しました。
  ※データ量は最も少なくなり運用も楽そうなため、今はこちらの方がよかったかも、と思っています。


**３．ID, 機械ID, c1, c2, c3, c4..., 日時 のようにカラムを予めたくさん用意し、カラムとデータの対応テーブルを別途用意する。**
  ※ダサく感じたので却下しました。なしではなかったなと思っています。


**４．ID, 機械ID, データ(VARCHAR), 日時のカラムを用意し、データにXML, JSON, ハッシュオブジェクトシリアライズなどで保存する。**
  ※集計と運用が厳しくなるかと思い却下しました。


**５．RDBを用いない。**
  ※RDB以外を知らないことと、集計が厳しくなると思い、却下しました。

可変データ構造をRDBに保存する方法について

いつもお世話になっております。

現在MySQLの勉強をしており、個人で使う簡単な在庫管理システムを作っております。
※今回はラズベリーパイに入っていたものをそのまま使っているので、
MariaDBを使用しております。

テーブル構成は以下のようなもので、100件ほどのレコードがある想定です。
購入日が昇順で入っています。

**商品テーブル**
|JANコード|購入日|値段|
|:--:|:--:|:--:|
|49000000000|2018/2/1|1500|
|49000000001|2018/2/4|2000|
|49000000002|2018/3/5|4000|
|49000000003|2018/4/13|2000|
|49000000004|2018/4/18|1000|
|49000000005|2018/4/22|8000|
|49000000001|2018/5/1|1000|

このテーブルから、購入日の最新50件を抽出し、それを昇順で並べ替えたもの、
つまり、最新50件の中から日付が古い順になったものを取得したいです。

```MySQL
select * from 商品 order by 購入日 desc limit 50;
```
上記のようにやってみましたところ
これだと、購入日の最新50件は取得できましたが
降順になってしまいます。

```MySQL
select * from 商品 order by 購入日 limit 50;
```

逆にこちらにすると、今度は最新50件ではなく、テーブル全体で
昇順になったものから50件となってしまいます。

つたない文章で分かりにくい点あるかと思いますが、
どうか解決策のご教示宜しくお願いいたします。