sqlite：ローカルホストの起動時に、DBをinmemoryに全て読み込む方法は問題ありませんか

Question

概要

ローカルホスト（python-bottle）を使ったDBのソフトウェアを作っています。
データベースはsqliteを使用しています。
sqliteファイルは事情により複数に分かれていますので（これは前提でお願いします）、それを仮想的に結合させて１個のDBのように扱っています。

あまり経験がなく悩んだのですが、あれこれ考えた末、inmemoryの機能を使って、ひとまず各ファイルのテーブルを寄せ集めてくることにしました。

簡略化したサンプルを示します。

        conn=sqlite3.connect(":memory:")
        conn.row_factory = sqlite3.Row
        c=conn.cursor()

        sql="create table datas (id integer,data text,created_at text)"
        c.execute(sql)

		#複数dbからデータを集めてくる
        paths=[dbパスのリスト]

        for path in paths:
            with closing(sqlite3.connect(path)) as conn2:
                conn2.row_factory = sqlite3.Row
                c2=conn2.cursor()
				～SELECTしてデータを寄せ集め、paraを作る～
        
        #インメモリDBにインサートする
        sql_insert = "insert into datas values(?)"
        c.executemany(sql_insert1,para)
	

起動時に読み込み

最初は以上の寄せ集めプロセスを毎回実行していたのですが、途中で「inmemoryはサーバー起動中ずっと維持できるのでは？」と思ったため、@routeよりも前に書いてみたところ、それでも一応正常に動いています。

現状では以下のようなコードになっています。

class MakeMemoryDB():

    def __init__(self,paths):

        conn=sqlite3.connect(":memory:")
        conn.row_factory = sqlite3.Row
        c=conn.cursor()

        sql="create table datas (id integer,data text,created_at text)"
        c.execute(sql)

		#複数dbからデータを集めてくる
        paths=[dbパスのリスト]

        for path in paths:
            with closing(sqlite3.connect(path)) as conn2:
                conn2.row_factory = sqlite3.Row
                c2=conn2.cursor()
				～SELECTしてデータを寄せ集め、paraを作る～
        
        #インメモリDBにインサートする
        sql_insert = "insert into datas values(?)"
        c.executemany(sql_insert1,para)

		self.conn=conn
	


M=MakeMemoryDB(dbpath)

@route('/hello')
def hello():
	conn=M.conn
    c=conn.cursor()
	～select実行～

	
	return  data    #ここでインメモリDBは閉じずに維持される模様（現状では大丈夫だが不安）

質問

今のところ正常に動作しているように見えます。また、速度もテストしてみたところ、クエリの実行時間も、ディスクから実行するときのおよそ半分ほどで済みました。

ただ、こういう使い方を聞いたことがないのと、以前こちらで質問させてもらった際に、こういう用法はなかったように思います。
https://teratail.com/questions/121729

果たしてこれで問題が無いのか不安があります。そこで質問なのですが、

１　以上の方式で何か問題が起きてくる可能性はないでしょうか（思わぬところで正常に動作しない、DBが閉じてしまうなど）
２　classを作って、connを作る方法をとっていますが、DB接続としてこのやり方に問題はないでしょうか。
３　その他気をつける点や改良すべき点はないでしょうか。

独学で経験も少ないため、判断が難しいです。
ご指導よろしくお願いいたします。

追記

データベースファイルが複数あることが不合理に見える思いますが、背景があり、諸々検討の上での既定事項ですので、その点は前提にしていただけるようお願いいたします。質問者の主関心はインメモリの動作具合にあります。

Answer 1

DBのデータ件数が多くなってきてメモリに収まらなくなったらどーなるか、
DBの読み込みだけで数十分かかるようになればどーなるか、
そのソフトが起動中に更新されたデータは処理できないとか、

まあ、ここらへんが問題にならないならそんでいいでしょうね

Comments

[退会済みユーザー]

ありがとうございます。いずれもクリアできそうではあるのですが、ちなみにメモリに収まらない件数（データサイズ）というのはどのくらいになるのでしょうか。

[y_waiwai]

pythonが扱う事ができるデータサイズがどれだけかというのは、ちとわかりませんが、
そこらへんの心配があるなら、検証の必要はあるんじゃないかとおもいます

[退会済みユーザー]

相場観がよくわからないのですが、たとえば100MB程度では問題になりますか？

[y_waiwai]

１００Mぐらいなら問題はなさそうですが、そこらへんは実際に検証してみましょう。

この件でトラブった時に、どこの誰かもわからんやつにこう言われたから私に責任はありません、と上司に言って納得してくれると言うなら、べつにかまいませんが

[退会済みユーザー]

ありがとうございました。実験したところ、１GBで特に問題は起きませんでした。

Answer 2

３　その他気をつける点や改良すべき点はないでしょうか

...
sqliteファイルは事情により複数に分かれていますので（これは前提でお願いします）、それを仮想的に結合させて１個のDBのように扱っています。
...

まず、このことを解決するべきと思います。

メモリーに読み込んだ結果を DB に保存してやり、つぎからはその Table を普通につかうようにすればいいのでは？

Comments

[退会済みユーザー]

ありがとうございます。