複数のcsvファイルをPythonでMongoDBにインポートするやり方がわからない。

Question

1日ごとに分けられたcsvファイルが1ヶ月分ありcsvファイルの中は1分ごとに行が区切られそれが24時間あります。
そのcsvファイルをMongoDBで管理しようと思っているのですがPythonでインポートするやり方がわかりません。

以下はMongoDBにドキュメントを追加するコードを試したものです。
このコードはうまくいったのですがcsvファイルをインポートするやり方がわかりません。

from pymongo import MongoClient
from datetime import datetime

class TestMongo(object):

     def __init__(self):
         self.clint = MongoClient()
         self.db = self.clint['test']

     def add_one(self):
        """データ挿入"""
        post = {
            'title': 'ハリネズミ',
            'content': 'ハリネズミ可愛い~',
            'created_at': datetime.now()
        }
        return self.db.test1.insert_one(post)

def main():
    obj = TestMongo()
    rest = obj.add_one()
    print(rest)

if __name__ == '__main__':
    main()

よろしくお願いします。

Comments

[TakaiY]

試したコードはどうだったのでしょう？
どんな問題が発生したのですか？

[Lapis051130]

試したコードはうまくいきました。
csvファイルをインポートするやり方がわからないのです。

Answer 1

各行を以下のようにdict形式で取り出すことができれば、MongoDBへの投入はできるということですよね

        post = {
            'title': 'ハリネズミ',
            'content': 'ハリネズミ可愛い~',
            'created_at': datetime.now()
        }

csvモジュールを使うとCSVファイルの各行をdict形式で取得できます。

import csv

with open('test.csv', 'r', encoding='utf-8') as f:
    reader = csv.DictReader(f)
    for l in reader:
        print(l)

このときcsvは先頭行がカラム名になったものを使っています。

title,content,created_at
ハリネズミ,ハリネズミ可愛い,2020-10-10T10:20:30
針山,針山硬い,2020-11-11T01:02:03

動作結果は、

import csv...
OrderedDict([('title', 'ハリネズミ'), ('content', 'ハリネズミ可愛い'), ('created_at', '2020-10-10T10:20:30')])
OrderedDict([('title', '針山'), ('content', '針山硬い'), ('created_at', '2020-11-11T01:02:03')])

こんな感じです。
型がOrderdDictになってますが、dictと同じように使えるはずなので、printしているタイミングでDBに投入すればいいはず。

Answer 2

mongodbには、csvをインポートする機能が用意されているようです。
https://docs.mongodb.com/manual/reference/program/mongoimport/

そのツールを利用して、pythonのexecなどを利用して呼び出す
https://docs.python.org/ja/3/library/functions.html#exec

DBはMongoDBにこだわっている訳ではないので他に適切なDBがあれば

「適切」を判断する材料が質問に含まれていないので、それはできません。