質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.50%

  • MariaDB

    295questions

    MariaDBは、MySQL派生のオープンソースなリレーショナルデータベースシステムです。 また、MySQLとほぼ同じデータベースエンジンに対応しています。

UPDATEを高速にしたい

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 328

aglkjggg

score 709

前提・実現したいこと

UPDATEが非常に遅いので速くしたいです。
accountsテーブルに約1千万件のデータが入っています。
そのうち約180万件に対してUPDATEをする必要があるのですが、約3時間たっても終わりません。CPU使用率も高い状態が続いています。(htopコマンドで確認しました)

該当のソースコード

最終ログイン日時が2017/10/01以前のアカウントのみflagを1にします。
別のプログラムでflagの値を元に処理する必要があるからです。

※flagの値は全て0になっています。

UPDATE accounts a
SET a.flag = 1
WHERE a.last_login_time < '2017/10/01';

テーブル情報

  • accounts テーブル
    全データ数約1千万件
 key       column            data_type   length 
 Primary   user_id           int         11     
 Key       uuid              varchar     36     
           name              varchar     50     
           creation_time     timestamp          
 Key       last_login_time   timestamp          
 Key       flag              int         11     
CREATE TABLE `accounts` (
    `user_id` INT(11) NOT NULL AUTO_INCREMENT,
    `uuid` VARCHAR(36) NOT NULL,
    `name` VARCHAR(50) NOT NULL,
    `creation_time` TIMESTAMP NOT NULL DEFAULT '',
    `last_login_time` TIMESTAMP NOT NULL DEFAULT '',
    `flag` INT(11) NULL DEFAULT NULL,
    PRIMARY KEY (`user_id`),
    INDEX `uuid` (`uuid`),
    INDEX `flag` (`flag`),
    INDEX `last_login_time` (`last_login_time`)
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=0;

その他情報

  • UPDATE対象の件数
SELECT count(*)
FROM accounts a
WHERE a.last_login_time < '2017/10/01';
/* 出力 1,810,588 */
/* Affected rows: 0  Found rows: 1  注意: 0  Duration for 1 クエリー: 13.719 sec. */

MariaDBのコンフィグ情報

  • /etc/my.cnf.d/server.cnf
[server]

[mysqld]
innodb_buffer_pool_size=24000000000
max_allowed_packet=256MB
character-set-server = utf8
max_connections = 10000
max_user_connections = 10000
max_connect_errors = 9999999
wait_timeout = 30
event_scheduler=ON
datadir=/data/mysql
socket=/data/mysql/mysql.sock

[galera]

[embedded]

[mariadb]

[mariadb-10.1]

試したこと

  • 不要なインデックスを削除する
    accounts.nameに付いていたインデックスを削除しました。
    速度に変化はありませんでした。

  • Optimizeを実行する
    以下を実行しましたが速度に変化はありませんでした。

OPTIMIZE TABLE db_name.accounts

/* note: Table does not support optimize, doing recreate + analyze instead */
/* status: OK */

補足情報(言語/FW/ツール等のバージョンなど)

  • VPS(KVM)をレンタルしています
  • CentOS 7.3 64bit
  • MariaDB 10.2.7
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+2

条件式に

a.flag != 1

を追加したら件数絞れますよね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/11/11 16:54

    flagは全て0になっています。
    情報不足だった点申し訳ないです。

    キャンセル

  • 2017/11/11 16:59

    もし、身近にそのような設計をしたとしたら、そもそも、そのフラグは本当に必要なのかと問いかけると思います。日付で状態を判定できるわけですからねぇ。

    キャンセル

  • 2017/11/11 17:43 編集

    失念しておりました。flagは不要でした。

    論点が少しズレてきて申し訳ないですが、
    以下のクエリを実行して約30分経過しましたが結果が帰ってきません。CPU使用率が高い状態のままです。
    CPU 12コア メモリ32GBのそれなりに高性能なサーバですので遅くても数分で結果が帰ってきても良いと考えているのですがここまで遅い原因がわかりかねます。

    この点について何かご存知ありませんでしょうか。
    そもそも100万件のUPDATEは数時間は必ずかかる処理と考えたほうがいいのでしょうか?

    UPDATE accounts a SET a.flag = 1 limit 1000000;

    キャンセル

  • 2017/11/11 18:45

    そうですね。普通UPDATE自体はインデックスの再構築などコストの高いものですから、一度に大量に更新するような処理を避けるように設計すべきです。

    キャンセル

  • 2017/11/11 18:55

    木になる点が、なぜこんなにmysqlのスレッドが上がっているのか?まさかループでUPDATE流してません?

    キャンセル

  • 2017/11/11 20:39 編集

    ありがとうございます。
    スレッド数について深く探っていった所、自己解決しました。

    flagを利用して処理をする別のアプリケーションの動作が原因でUPDATEが非常に遅くなっておりました。

    別のアプリケーションは、1分ごとに自動的にflag=1があるかをチェックしてある動作をするのですが、そのチェックが千スレッド近い数で一度にDBに対してSELECTするような動きになっていました。

    このSELECTと今回質問させて頂いたUPDATEのタイミングが重なるとDBとしては高負荷(もしくはテーブルロック系の問題?)となり数時間たってもUPDATEが終わらないという事になっていました。

    別のアプリケーション側を完全に停止させた所、今回質問させて頂いたUPDATEのSQLは1分37秒で正常終了しました。

    ご指摘のとおり、不要かつ負荷の高いUPDATEは取り除く設計に修正します。

    再設計については今回の質問とは外れるので以上で区切りとさせて頂きます。

    解決の糸口を見つけていただきありがとうございました。

    キャンセル

-1

以下のクエリを実行して約30分経過しましたが結果が帰ってきません。CPU使用率が高い状態のままです。
UPDATE accounts a SET a.flag = 1 limit 1000000;

where で検索対象を絞りましょう
・インデックスを張りましょう

追記:
実際whereは含まれていませんし,「不要なインデックスを削除した」とは書かれていますがどの程度インデックスが張られているかは書かれていないですし,基本に立ち返るのは大切なので,現時点での回答として不適切とは思いませんが.
「評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。」とも書かれているはずです.

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.50%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    集計関数を利用した場合のORDER BY高速化

    前提・実現したいこと ORDER BYをつけると激遅になります。 これを解決する方法はありませんか? 今のテーブルは500万行ですが、今後も増え続けます。 SELE

  • 解決済

    MySQL トリガーについて

    MySQLトリガーについて トリガーという機能を知らなくて使ってみると便利! user1というテーブルで行った操作(INSERT/UPDATE/DELETE)を別テーブルに

  • 受付中

    ORDER BY RAND(); が遅い

     質問 タイトルの通りなのですが、 MariaDBにおいてORDER BY RAND()が非常に遅いため改善を試みましたが、 上手くいかなかった為、 「どうすれば結果取得ま

  • 解決済

    PHPでUNIQUEなカラムを含むMySQLのデータを一括更新したい

    前提・実現したいこと データ一覧の画面上に入力欄を作り、更新ボタン1つで全部のMySQL (MariaDB) 上のデータが更新されるようなページを作りたいと思っていますが、UNI

  • 解決済

    mariaDBテーブル作成エラー

    カレンダーテーブルを作成しています F_Dateフィールド⇒テーブル内で重複しない値をprimary keyにしたかったのでnot nullでprimary keyにしました F_

  • 解決済

    ユーザ定義変数に配列を代入したい

    前提・実現したいこと タイトルの通りですが、 ユーザー定義変数に配列(ベクトル)を代入したいのですが上手く出来ませんでした。 そもそも、スカラー値しか代入できないのでしょうか?

  • 解決済

    SQLにおける日時検索

    毎日毎時間10分単位で時間と風向・風量を測定しDBに記録をしていく様な、添付した画像のテーブルがあります。 そこで質問ですが、このテーブルから 「30分毎のレコード」や「

  • 解決済

    CONCATでCOUNTをすると正しく表示されない

     前提・実現したいこと 表1の出力を得たいです。 表1. 理想の出力 col1 col2 col3 1 1a 1a  発生している問題・エラーメッセージ

同じタグがついた質問を見る

  • MariaDB

    295questions

    MariaDBは、MySQL派生のオープンソースなリレーショナルデータベースシステムです。 また、MySQLとほぼ同じデータベースエンジンに対応しています。