質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.51%

  • MySQL

    6974questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • NoSQL

    71questions

    NoSQL(not only SQL)は、リレーショナルデータベース管理システムとは異なるデータベースシステムを指す言葉です。

  • ファイルI/O

    43questions

    ファイルI/Oは、コンピューターにおけるファイルの入出力です。これは生成/削除やファイルを読み込んだり、出力をファイルに書き込むようなディレクトリやファイルの運用を含みます。

  • トランザクション

    24questions

    トランザクションとは、関連・依存する処理を一連の不可分な処理単位として扱う処理方式を指します。トランザクションとして管理された処理は「すべて成功」か「すべて失敗」のいずれかであることが保証される。処理に失敗した場合は、一連の処理がロールバックされます。

ファイルI/Oについて

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 825

kkkmokotan

score 37

MySQLのデータベースログを常時解析してデータの更新を検知する手法を学びました。データベースのログといってもファイルなのですから工夫しない限り常時監視という手法はかなり高いI/Oコストや解析コストがかかると思います。
さらに実際のプロダクトではデータベースの吐き出すログは非常にデータサイズが大きいと思います。

ここで質問なのですが例えばマルチスレッディングのプログラムでいくつものスレッドでファイルを読み通り専門にして参照し、異なるファイルのインデックス地点(例えばログファイルのうち何行目か、など)を参照させてファイル解析のスループットをあげるといったことは可能なのでしょうか?

その手法では、データベースログの読み取り始める箇所をばらばらにしておいて(なんらかの並列処理で)一気に読み始めていち早くアップデートに関するログを解析する。。。といったものでしたがデータベースログの知識に乏しいため実際にどのように実装しているのか想像できませんでした。そもそも一つのファイルなのだから単一スレッドで読んでいくスピードが実質最速なのかなとも思いますので学んだ手法がどのようなことをいっているのかわかりません。。。。

どなたかアドバイスをよろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

0

独自でログを分析するとデータベース・サーバは性能劣化すると思われますが、それは許容されるということでしょうか?

通常はデータベース・サーバの性能劣化を避けるために、アプリケーション・サーバ側に追跡の仕組みを入れるものですが、コードの修正が困難でRDBMS側で対応させたい時は「監査」と呼ばれる機構を使って、ユーザの操作を追跡したりします。MySQLにもその手のプラグインはあるようですよ。

6.3.12.1 監査ログプラグインのインストール - MySQL5.6リファレンスマニュアル

McAfee MySQL Audit Plugin で MySQL の監査ログを採取する

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

何を何でどう学んだかのがわからないので既知の話かもしれませんが…

本気でログ解析を行う場合は、ログを吐くホスト上では行わず、ログ収集サーバへログを飛ばし、さらにログ解析サーバで解析する事が多いと思います。

今風にやるなら「Elasticsearch」「Logstash」「Kibana」の組み合わせで、がっつりやったり、「fluentd」でとりあえず集めてあとは自前で…とかでしょうか

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

ファイルサイズが大きくても、更新内容を読み取るのに毎回ファイル先頭から読み直す必要はないです。開いたファイルの読み取り位置ををファイル終端に移動しておき、ファイルの変更を検知したら増分を読み取る、というやりかたを普通はします (要するにtail -fでやっているのと全く同じことです)。Swatchのようなツールがこの手法を使っています。

なおこの場合、ディスクI/Oやバッファリングの影響が非常に大きいため、マルチスレッドにしても速度面のメリットは全くなく、シングルスレッドでかまわないと思います。またこの手法自体、多用すればパフォーマンスに影響しますので、ある程度規模が大きいのならほかの方たちが回答しておられるような手法も検討されるべきとおもいます。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

同じタグがついた質問を見る

  • MySQL

    6974questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • NoSQL

    71questions

    NoSQL(not only SQL)は、リレーショナルデータベース管理システムとは異なるデータベースシステムを指す言葉です。

  • ファイルI/O

    43questions

    ファイルI/Oは、コンピューターにおけるファイルの入出力です。これは生成/削除やファイルを読み込んだり、出力をファイルに書き込むようなディレクトリやファイルの運用を含みます。

  • トランザクション

    24questions

    トランザクションとは、関連・依存する処理を一連の不可分な処理単位として扱う処理方式を指します。トランザクションとして管理された処理は「すべて成功」か「すべて失敗」のいずれかであることが保証される。処理に失敗した場合は、一連の処理がロールバックされます。