質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.52%

  • PostgreSQL

    1062questions

    PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

PostgreSQLにてパーティショニングしたテーブルを外部キーとしたい

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 671

acre_maker

score 131

前提・実現したいこと

タイトルのようにPostgreSQLにてパーティショニングしたテーブルを外部キーにすることを目指していいますが、エラーが出てしまいうまくいきません。

発生している問題・エラーメッセージ

テーブルcompoundsのcompound_idを外部キーとしてテーブルbit_fingerprintsを紐付けることを目指していますが下に示すようにエラーが出てしまいます。

ALTER TABLE all_now.bit_fingerprints ADD FOREIGN KEY (compound_id) REFERENCES all_now.compounds (compound_id);
ERROR:  insert or update on table "bit_fingerprints" violates foreign key constraint "bit_fingerprints_compound_id_fkey"
DETAIL:  Key (compound_id)=(35) is not present in table "compounds".

StackOverFlowの記事

テーブルcompoundsはcompound_idでパーティショニングを行っており実際のデータは子テーブルのcompounds_200000, compounds_400000...に入っています。

試したこと

StackOverFlowの記事を参考にしたところ親テーブルを外部キーとしたらよさそうに思えたのですが、今回の件ではまた別なのでしょうか?(出力結果は上の画像やコードになります)

子テーブルを外部キーとすることも試していますがその場合はcompounds_200000に含まれないcompound_idのレコードに対して以下のエラーが出てしまいます。

ALTER TABLE all_now.bit_fingerprints ADD FOREIGN KEY (compound_id) REFERENCES all_now.compounds_200000 (compound_id);
ERROR:  insert or update on table "bit_fingerprints" violates foreign key constraint "bit_fingerprints_compound_id_fkey"
DETAIL:  Key (compound_id)=(200013) is not present in table "compounds_200000".

バージョン情報

PostgreSQL (version9.5.7)

ご助言いただけたら幸いです。よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mts10806

    2017/09/20 10:25 編集

    「試したこと」で起きたエラーと当初発生したエラーは同じ内容でしょうか?違うようであればそのエラー内容を追記願います。

    キャンセル

  • acre_maker

    2017/09/20 10:31

    わかりにくくてすいません!「試したこと」で起きたエラーは同じ内容です。子テーブルに対して行った結果も示しておきました!よろしくお願いします。

    キャンセル

回答 2

checkベストアンサー

+1

パーティションテーブルへの外部キー制約が対応できていないのかもしれませんね。
値によって子テーブルを振り分けないと駄目になりますが、制約で行ってみてはどうでしょうか。

追記

外部リンク(StackOverFlowの記事)で回答されている方はそれなりのスコアですけど、解決はしてないみたいですし、postgresの挙動としてはやってくれてもよさそうな気はしますが、未対応なのかもしれません。

私も案は提示していますが、根本的なところは推測なので、postgresのメーリングリストに投稿された方が良いかもしれません。
メンバーには、ほぼ中の人レベルの方がおられますし、レスポンスも早いので。
購読はこちらから。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/09/20 12:19

    回答ありがとうございます。
    不勉強で申し訳ないのですが、この場合の制約とは
    CHECKを使ってbit_fingerpirntsにINSERTするたびにcompoundsに含まれていないなら
    エラーを出すようにする、という意味でしょうか?

    キャンセル

  • 2017/09/20 13:21

    そうです。
    但し、子テーブル全体を振り分け真偽を判定するストアドを作成して組み込む形になるかもしれません。
    checkでexists(select ~)のような記述ができるかは試したことがないので。
    尚、トリガーも選択肢の一つだとは思いますが。
    因みに、要素の重複が発生しないように、パーティション分割出来たんですね。

    キャンセル

  • 2017/09/20 13:23

    あ、判定では子テーブルの振り分けはいらないですね。

    キャンセル

  • 2017/09/20 14:18 編集

    ありがとうございます。
    CHECKやトリガーを採用してみます。
    今すでに入っているデータは採用とは別途FKがちゃんと存在するか確認する必要がありますね。

    >因みに、要素の重複が発生しないように、パーティション分割出来たんですね。
    以前の私の質問ですね。覚えていてもらえて嬉しいです。
    理想は化合物の構造で振り分けることでしたが無理そうでした。
    単純にパーティショニングするだけで早くなるよという検証をしている方がいらっしゃったので、
    無難にcompound_idで振り分けました。

    自身のデータでもそれが当てはまるのか要検証ではありますね。

    キャンセル

  • 2017/09/20 14:25

    目的は構造体を含むかどうかの検索性能でしたが、パーティションをcompound_idで振り分けできたとしても、構造体がどのcompound_idかどうかを検索する必要が発生していませんか?
    もしそうだとすると、当初の目的から逸れて、パーティションニングすることが目的になっていないでしょうか。

    キャンセル

  • 2017/09/20 15:39

    アドバイスありがとうございます。
    >構造体がどのcompound_idかどうかを検索する必要が発生していませんか?
    完全に理解してないかもしれませんが、
    構造体を含むかどうかの時にcompound_idを用いた検索をしてないので影響はないかなと思いました。
    Explain Analyzeでみたら各テーブルの構造情報が保存されたカラムをIndexでサーチしていました。

    該当する構造を含むカラムをみつけてそのcompound_idを保存するというタスクがよくされる作業ですが、その場合も律速段階になりますでしょうか?

    キャンセル

  • 2017/09/20 15:59

    前後が分からないので律速段階と呼べるかどうかは分かりませんが、
    >構造を含むカラムをみつけて
    (カラムではなくレコードだと思いますが)この部分の性能を良くしたいということだったのではありませんか?
    この部分は、compound_idによるパーティショニングを行っても早くなるとは思えません。
    パーティションニングは検索対象の母数を減らすことによって、効果を得るものなので、検索対象となるカラムのデータがパーティション分割されない限りは効果は得られないどころか、逆に遅くなると思います。
    前の質問でも同様の事はお伝えしたはずですので、私の方が根本的に問題を取り違えしている気がしています。

    キャンセル

  • 2017/09/20 17:29 編集

    >単純にパーティショニングするだけで早くなるよという検証をしている方がいらっしゃったので、
    これって、compound_idでパーティショニングしてるんですかね?
    効果が出るとしたら、要素を厳密にパーティションしているのではなくて、緩いけど重複しないように振り分けていて、遅い場合もあるけど概ね早くなっている、みたいな事じゃないでしょうか。
    若しくは、重複を許すようにして、compound_idの取得だけを目的にしているとか。

    キャンセル

  • 2017/09/21 07:56

    ご回答ありがとうございます。

    >>構造を含むカラムをみつけて
    >(カラムではなくレコードだと思いますが)この部分の性能を良くしたいということだったのではあり>ませんか?
    >この部分は、compound_idによるパーティショニングを行っても早くなるとは思えません。
    はい。言葉足らずですいません。残念ながら構造を検索する時のスピードアップはあきらめて
    compound_idで検索するタスクの時に少しでも早くなればいいかなと考えました。

    ただ、今回のようにFKつけようとしてエラーが出るなら一般的なテーブルでもよさそうですね。
    トレードオフとして見合ってない気がします。

    >効果が出るとしたら、要素を厳密にパーティションしているのではなくて、緩いけど重複しないように振>り分けていて、遅い場合もあるけど概ね早くなっている、みたいな事じゃないでしょうか。
    >若しくは、重複を許すようにして、compound_idの取得だけを目的にしているとか。
    おっしゃるとおり、いいアイディアだと思います。
    構造でゆるいけど重複ないってできたらいいんですけどね。むずかしいです。
    化学構造に詳しい知人も加えてディスカッションすべき案件ですよね。

    参考にしたのはこちらですね。
    https://h50146.www5.hpe.com/services/ci/opensource/pdfs/PostgreSQL9_3_v1_1.pdf

    キャンセル

  • 2017/09/21 09:30 編集

    単項目のプライマリーキーのデータをパーティショニングするのは、全然メリットを感じません。
    手元にある、3,400,000件のデータでも、プライマリでの検索なら46msで、
    132,300,000件に対し、プライマリの一部での検索でも100ms以下です。

    自分なら、検索対象となるレベルの構造を要素の単位として、要素の配列を作成してginインデックスとするアプローチで試してみます。
    単一の分子構造を抽出して、それにより要素に分解する処理は作成しないと駄目ですが、分離が難しいところは緩さとしておけば、イケそうな感じですけどね。

    キャンセル

  • 2017/09/21 10:48

    回答ありがとうございます。

    >単項目のプライマリーキーのデータをパーティショニングするのは、全然メリットを感じません。
    >手元にある、3,400,000件のデータでも、プライマリでの検索なら46msで、
    >132,300,000件に対し、プライマリの一部での検索でも100ms以下です。
    PKはやはり大分高速なのですね!おっしゃるとおりパーティショニングの必要性を感じないですね。

    >自分なら、検索対象となるレベルの構造を要素の単位として、要素の配列を作成してginインデックスとするアプローチで試してみます。
    >単一の分子構造を抽出して、それにより要素に分解する処理は作成しないと駄目ですが、分離が難しいところは緩さとしておけば、イケそうな感じですけどね。

    検索対象の最小構造をもつかどうかの情報をbit型で保存し、
    それを用いてビット演算子の積を用いて絞り込みを試したことがあります。
    今回おっしゃっているのはそれをインデックスとしてしぼりこみ検索に利用するということでしょうか?

    その場合は最小単位が増えるごとに計算をしないといけないのが大変そうかなとやめてしまいました。

    ビット演算子の積よりインデックスのほうがアイディアとして面白そうですね。
    それとも、また別の方法でしたら詳しく説明いただいたら助かります。

    キャンセル

  • 2017/09/21 11:09

    >ビット演算子の積を用いて絞り込み
    これやられたんだったら、それをファンクションインデックスでやってみたらどうですか。

    キャンセル

  • 2017/09/21 12:54

    アドバイスありがとうございます。

    ファンクションインデックスで調べてもバージョンが古いPostgreSQLの情報しかなく
    おそらく現在は「式に対するインデックス」と呼ばれているインデックスのことでしょうか?

    関数インデックス(version 7.2)
    https://www.postgresql.jp/document/7.2/user/indexes-functional.html
    式に対するインデックス (version 11.7)
    https://www.postgresql.jp/document/9.5/html/indexes-expressional.html

    こちらを用いてビット演算子の積を用いたインデックスを作ればよいということでしょうか?

    キャンセル

  • 2017/09/21 13:37

    そうです。
    但し、式との比較が単純でf(x)=yとなるような関係でなければ、そもそも式インデックスは成り立たちません。

    キャンセル

  • 2017/09/22 04:36 編集

    回答ありがとうございます。試してみますね。
    質問からそれてしまったのに詳しくアドバイスありがとうございました!

    追記もありがとうございました!

    キャンセル

+1

DETAIL:  Key (compound_id)=(35) is not present in table "compounds".

このメッセージから推測するとテーブルbit_fingerprintsのcompound_idの値35は、テーブルcompoundsのcompound_idに存在していませんと読めますが。
fkeyの整合性のエラーではないでしょうか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/09/20 12:18

    回答ありがとうございます。少しわかりにくいのですが画像の方でcompound_id=35のデータが各テーブルにあることをお示ししています。
    こちらでお答えになっていますでしょうか?

    キャンセル

  • 2017/09/20 12:40 編集

    失礼いたしました、原因はcompoundsには値の35が無くパーティションテーブルに値を持っているからだと思います。見るところinsert時の様にAlterでは振替してくれていないみたいです。
    但し、パーティションは、値200013がcompounds_200000に有れば行けると思います。
    ALTER TABLE bit_fingerprints ADD FOREIGN KEY (compound_id) REFERENCES compounds_200000 (compound_id);

    キャンセル

  • 2017/09/20 12:49

    ありがとうございます。
    おっしゃるとおりのようで、「試したこと」に記載しているように子テーブルに対してリレーションをはるようにしたのですが、記載しているようにcompound_id=35はエラーを出さないようになっても、compounds_200000にはいらないように設定しているcompound_idを持つものが今度はエラーを出すようになってしまいました。

    このような場合はどう対処すればよろしいでしょうか?

    キャンセル

  • 2017/09/20 15:55

    bit_fingerprintsに存在する値はどこかのテーブルに無いとエラーになりますし、FKEYの参照先にテーブルに複数指定ができないので子テーブルとするのは難しいと思います。すみません解決策でなくて。

    キャンセル

  • 2017/09/21 07:57

    回答ありがとうございます。

    いえいえ、難しいということがわかって助かりました。ありがとうございました!

    キャンセル

  • 2017/09/21 08:58 編集

    回答にはなりませんが、compound_idのみを持つテーブルを別途用意してこれに対して双方(子)からFKEYするのはできます。compoundsのインサート時にトリガで一緒に自動作成すると便利かも。

    キャンセル

  • 2017/09/21 12:55

    おお、面白いアイディアですね!勉強になりました!ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.52%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • PostgreSQL

    1062questions

    PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。