データベース バイナリーデータ

Question

データベースのあるカラムにＰＤＦなどのバイナリーデータを持たせると、
ただの文字列だけの場合と違い、

ＰＤＦに関係ない部分を検索するだけでも処理は重くなりますか？

バイナリーデータを持たせた場合の容量など問題が発生する場合は
どのような場合でしょうか？

件数？容量？が問題になってきますか？
1テーブルが大きくなりすぎることが問題ですか？
それとも全体で大きくなる事が問題ですか？

Comments

[m.ts10806]

実際に検証はされたのでしょうか。https://teratail.com/help/question-tips#questionTips1-2

[退会済みユーザー]

余談ですが、《PostgreSQLのラージオブジェクトは、今のところデフォルトで2GBまで、9.3以降では4TBまでを扱えるようになります》https://lets.postgresql.jp/documents/technical/large_objects という情報もあり、ネット検索すると格納最大サイズBYTEAは1GBラージオブジェクトは2GBって書いてあるのが多いけど9.3以降は拡張されているよということで。

Answer 1

ラージオブジェクト お使いのシステムによりラージオブジェクトのサイズや件数、ハードウェアの性能は大きく違いますし、それを想像できるだけの情報も提示していませんから、実際に環境を用意して試されては？

Answer 2

誤解かもしれませんが、質問を、例えば"PDFファイル情報"のDBを作ろうとしたときに、

1. DBに属性情報だけをもち、実体はファイルとしてもつパターン(ctime,mtime,author,path…)
2. DBにファイルももつ(ctime,mtime,author,blob…)

を考えた場合に、「2.」でblob(巨大なデータ)を持つことが、ctimeやauthorでの検索に影響するか(blobを検索しようとはしていない)、という意味に理解しました。

回答としては、行にblobがあって各行のデータが大きくなることは、それだけで他のキーでの検索に影響はないと思います。

Comments

[euledge]

検索のときに ORマッパーなどを使用した場合 SELECT * FROM ....　が発行されることが多いので BLOB列については SELECT に含まないようにするような工夫は必要と思います。

[sazi]

格納するバイナリデータの構造が分かっていたとして、検索目的にblobを使用するのが得策だと思われます？
pdfなどのと言われているので、ドキュメントデータをblobで格納されようとされていると思うので、いろいろな種類のバイナリデータだと構造すらわからないと思います。
検索のために別項目用意するなら、blobの意義は？、ってなる訳ですし。

[sazi]

失礼。検索目的とは解釈していないという一文を見落としていました。

Answer 3

バイナリで扱うことの問題点に関しては、そのバイナリデータをどのような目的で使用するかが関わってきます。

文字による検索が目的でしたら、PDFが画像＋テキストデータで構成されているのはご存知ですか？
テキストデータが付加されていないPDFは文字での検索は無意味です。

また、バイナリデータを検索する術はお持ちですか？
バイナリーデータはそれぞれのアプリが使用する構造で構成されているので、単純に文字での検索はできません。

全文検索程では無いにしても、検索のためにはテキストを抜き出す必要があります。
抜き出す仕組みは文書フィルタ（全文検索のリンクに説明あり）と呼ばれ、提供しているアプリケーションもあります。

検索目的でバイナリデータをDBに格納することは普通行いません。

追記

質問をよく見ると、blobに関係ない所に影響するかということですね。失礼しました。

他の目的の項目と同一のテーブルにすると、行データ取得サイズも大きくなりますし、テーブルスペースが同一になることなどで、アクセス性能の低下は懸念されます。
テーブルスペースは分けておいたほうが無難ですし、blobを格納するのも単独のテーブルにしておいたほうが良いかと思います。