pymongoの複数件のupdateについての質問です。

Question

mongodbにおいて、複数件のupdateの仕方が分かりません。
以下のupdate_manyメソッドはDataFrameを入力することでIndexの主キーに対応した複数件のアップデートを行うことができますが、
DataFrameの行数が膨大になるとDBアクセスが増えてしまい、処理時間も膨大なものになってしまいます。
db.collection.update_manyについても調べたところ、idを複数件指定することができなさそうだったので、実装方法に悩んでいます...
処理時間、DBのアクセス数を短縮するためにはどのように解決したらよいでしょうか？
ご教授お待ちしております。

    def update_many(self, df, now):
        d = df.to_dict(orient='index')
        for id in df.index:
            d[id]["updatedAt"] = now
            db.collection.update_one(filter={"id": id}, update={"$set": d[id]})

Answer 1

1件ずつUpdateすると、MongoDBの返答を待つオーバーヘッドがあり、時間がかかります。改善方法としてはMongoDBとのコネクションを多重化することか、MongoDB Bulkを使うことの2通りがあります。前者はプログラム側を複数スレッドにする必要があり難関ですので、後者が簡便だと思います。

MongeDB Bulkは、
insertOne
updateOne
updateMany
deleteOne
deleteMany
replaceOne
の組み合わせを配列で与えて、MongoDBに一気に指示をかけることができる、という優れものです。単なるupdateManyとは異なり、updateOneをパラメータを変えてまとめて指示することができますので、質問者様の状況でも使えるものと思います。

MongeDB Bulkについては、以下で性能測定記事があります。1件ずつと比較して10倍近い性能向上がされるようです。
（さらに、Bulkには、配列渡しだけでなく、メソッド渡しもあることもわかります）
MongoDB Bulk Methodを使う

pymongoのメソッドは以下でわかります。
Bulk Write Operations

対応するMongeDB側のメソッドは以下でわかります。
db.collection.bulkWrite()

Comments

[taiki9121]

ありがとうございます!
無事解決しました！