質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.62%

  • MySQL

    5682questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • SQL

    2311questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

  • DELETE

    20questions

    ファイルシステムからファイル、データベースからレコードを削除することまたはメモリ内のオブジェクトの割り当てを取り消すことをさします。もしくは、HTTPプロトコルのDELETEを指すこともあります。

  • COUNT

    15questions

    COUNT は、広く使用されているSQLの関数です。COUNT関数は、行数、もしくは配列のエンティティの数をカウントします。

レコードのCOUNTとDELETE

解決済

回答 7

投稿 編集

  • 評価
  • クリップ 4
  • VIEW 447

enigumalu

score 161

億近いレコードのテーブルから指定して件数を確認し削除したいのですが
件数が多いため日付指定で効率的に件数をカウントする方法は無いでしょうか?
対象以前を削除するので、数千万単位のdeleteを行うのでこちらも同様に効率的に削除する方法があれば知りたいです

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • enigumalu

    2018/04/27 10:58

    カラムが登録日付のため今の所追加は不可です

    キャンセル

  • m6u

    2018/04/27 13:11

    第三者にもわかるようにテーブル構造、施しているインデックス類、抱えるデータの目的用途くらいは説明していただきたいものです。

    キャンセル

  • tekka

    2018/04/27 18:30 編集

    別のテーブルを作ってデータを移せないと、どうにもならない気がしますが可能なんでしょうか オンラインでテーブル変更出来るならいいんですけど。

    キャンセル

回答 7

+2

1億レコードのテーブルから期日を指定して件数を確認し削除したいのですが
件数が多いためCOUNT(*)を行うとフルスキャンになってしまいDBに負荷がかかるのを懸念しています。
日付指定を行う想定でなかったため、指定カラムにインデックスは張られて無いです

→ご認識の通り、指定カラムにインデックスが貼られていないのであれば、DBに負荷がかかります。

日付指定で効率的に件数をカウントする方法は無いでしょうか?

→上記の理由により、日付指定では無理です。
 

最終的に対象日付以前を削除するので、数千万単位のdeleteを行うのでこちらも同様にパフォーマンスを落とさないで削除する方法があれば知りたいです

→まず、「対象日付以前を削除」が何件で、「対象日付以降」は何件ですか?

(案1)削除ではなく、主キーベースで必要なデータを新しいテーブルに移行する。

「対象日付以降」が数百万件であれば、
ちゃんとカラムにインデックスを貼ったテーブルや、
パーティショニングを考慮したDB設計をしてテーブルを作成した後、
作成したテーブルに「対象日付以降」のデータを移行し、元のテーブルはバックアップとして残しておく。
(日付指定ではなく、主キー指定で判断できることが前提)

(案2)(どのように作られたデータか不明ですが)
新しく設計されたテーブルに1億レコードを作り直す。

(案3)カウントしてみる。
⇒「COUNT(*)」では、確実にNGなので、SELECT COUNT('X') FROM test; であれば、
統計データから抽出される(テーブルの構造によっては、可能性がある)ため、実行してみる。
もしくは、explain SELECT COUNT('X') FROM test;
(日付指定は不可)

(案4)数千万単位のdeleteを行うのでこちらも同様にパフォーマンスを落とさないで削除する方法
⇒他のパフォーマンスを気にされているとの事なので、
主キー指定で、100~1000件ずつの削除であれば、時間はかかりますが、
他への影響は少なく出来るかと思います。

<まとめ>
「指定カラムにインデックスは張られて無い」とのことですが、
他のカラムには付いてるのかすら、こちらは不明なので、
テーブル構造を開示する事をお勧めします。
開示できない場合は、専門の方に費用を払って、依頼するのが良いです。

専門の方に依頼すれば、以下のような情報を基に、適切な対処を行えるハズです。

・どのように追加・削除されているテーブルなのか。
・テーブルの設計思想は。
・MySQLの設定情報は。
・実行計画は。
・断片化はどうなってるか。
・運用と環境は。
・MySQLのバージョンは。
etc...
(※上記の開示を求めているわけではないです)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

checkベストアンサー

+1

件数カウントについては色々あると思います。

count(id) などカラムを明示するとある程度速くはなります。
速度を比べてみてください。

削除については一気に削除ではなくLIMITをつけてわけて削除すると良いかもしれません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

パフォーマンス云々を言われるのであれば、どの程度の件数を削除することになるかの想定は必須です。

インデックスを付加できないということであれば、削除する件数の割合によっては全表を読み出して処理する方が早いことも考えられますし。

多分稼働しているシステムで影響を与えたくないという事だと思いますので、大量データで大変かもしれませんが、検証用の環境を準備すべきだと思います。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

データが肥大化しているテーブルについては
まずはパーティショニングを検討してみてください

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

まず最初の問題は、事前調査のためのデータを閲覧するにあたって、本番環境に与える負荷が気になると言うことですよね。普段からバックアップぐらいはしているでしょうから、調査用のPCを用意してそこにバックアップしているデータを展開して作業すれば、気兼ねなくSQLを実行出来ますよね。

2番目の問題の削除についてですが、日付以外にインデックスを作成しているカラムって何かしらありますよね。インデックスを指定しているカラム+日付で削除条件をしていするようにすます。これによりインデックスを併用しているのでフルスキャンを避けることが出来ます。後は適当な回数にわけて実行するだけです。

あるいは調査環境において削除対象のプライマリキーを列挙しておいて、1行ずつけしても構わないと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

たしかスパイダーストレージてのがあったと思います。
パーティショニングに似ていますが
物理的に別のサーバーに分散させられる特徴があります。
もしかしたら用途に合うかもしれません。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

-2

SQLは詳しくないのですが、中のレコードは既に日付に対してソートされていますか?されているなら2分探索を使えば全読みは回避できるとおもいます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.62%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • MySQL

    5682questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • SQL

    2311questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

  • DELETE

    20questions

    ファイルシステムからファイル、データベースからレコードを削除することまたはメモリ内のオブジェクトの割り当てを取り消すことをさします。もしくは、HTTPプロトコルのDELETEを指すこともあります。

  • COUNT

    15questions

    COUNT は、広く使用されているSQLの関数です。COUNT関数は、行数、もしくは配列のエンティティの数をカウントします。