質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

データ構造

データ構造とは、データの集まりをコンピュータの中で効果的に扱うために、一定の形式に系統立てて格納する形式を指します。(配列/連想配列/木構造など)

Q&A

4回答

2038閲覧

Mysqlにて大量データからデータ取得する

karun

総合スコア18

MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

データ構造

データ構造とは、データの集まりをコンピュータの中で効果的に扱うために、一定の形式に系統立てて格納する形式を指します。(配列/連想配列/木構造など)

0グッド

0クリップ

投稿2022/03/04 02:51

編集2022/03/04 04:16

MYSQLにて大量データから一部を取得する方法について質問です

現時点のテーブル構造はいかになります

CREATE TABLE `table` ( `id` varchar(64) NOT NULL, `code` varchar(64) NOT NULL, `comment` varchar(64) NOT NULL, `creat_date` datetime(3) NOT NULL, `update_date` datetime(3) NOT NULL, PRIMARY KEY (`id`,`code`), KEY `idx_comment_code` (`comment`,`code`), KEY `idx_updated_at` (`update_date`) )

上記のようなテーブル構造のテーブルがあります
codeは任意のcodeが入っている(例えばA~Eまでがとある条件によって指定されている感じです)
commentは一意の値が入っているが例外的に同じcommentも入ることがある

上記のような条件でデータが約5000万件あるとして下記条件で取得したいと考えています
1.codeを条件にcodeごとのcommentの数を知りたい(codeごとの全体数が知りたい)
2.codeを条件に重複したcommentを1としcodeごとのcomment数が知りたい

純粋に

select count(code) from table where code="A" select count(distinct comment) from table where code="A"

とした場合取得するまでに時間がかかってしまいます
こちらをいかに早く取得できる方法はありますでしょうか?
宜しくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答4

0

データ数が多いならそのテーブルを参照する以上は時間がかかるのは避けられないことです(適切にインデックス貼られていたとしても)

リアルタイム性が不要なら実績集計してある時点の結果を保持するテーブルを持ち、バッチで集計した結果を登録するようにしておけば時間はかからないでしょうけど、リアルタイム性が必要なのであれば、データテーブルを直接参照する以上は大きな効果は得られないと思います。

投稿2022/03/04 02:59

m.ts10806

総合スコア80850

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

where code="A" によって対象件数を10分の1以下に絞れるなら、code にインデックスを付けるのがよろしいかと。

逆に、where code="A" を指定しても2分の1程度にしか絞れないとかだと、全件検索の方が速かったりします。

投稿2022/03/04 06:59

iruyas

総合スコア1067

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

select count(code) from table where code="A"
select count(distinct comment) from table where code="A"

上記のSELECT文であれば code にインデックスを設定してください。
現行とインデックスを設定した後で実行計画を確認したり、処理時間を測定してみては?

投稿2022/03/04 04:24

Orlofsky

総合スコア16415

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

codeは任意のcodeが入っている(例えばA~Eまでがとある条件によって指定されている感じです)

でしたら、codeにインデックスを入れるのが妥当な解決策かと思います。

投稿2022/03/04 02:59

maisumakun

総合スコア145183

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問