pythonでcsvのデータを辞書型でPCのメモリに格納したいです。

Question

前提・実現したいこと

お世話になります。
csvに保存したデータを、辞書形式でメモリに保存したいです。

発生している問題・エラーメッセージ

まず、open w で下記の様に、csvを作りました。

import csv

data = {'hito' : 61,'hiro' : 54,'yuto'  :  17,'osamu': 67,'keiko':71}

with open('name.csv', 'w', newline='') as csv_file:
    fieldnamse = ['Name', 'Date']
    writer = csv.DictWriter(csv_file,fieldnames=fieldnamse)
    writer.writeheader()
    for name, key in data.items():
        writer.writerow({
            'Name': name,
            'Date': key
        })

その結果、下記のデータとなります。
Name,Date
hito,61
hiro,54
yuto,17
osamu,67
keiko,71

試したこと

今度、csvに保存したデータを、PCのメモリに格納したいのです。
下記の様にしました。

import csv
with open('name.csv', 'r') as csv_file:
    reader = csv.DictReader(csv_file)
    print('Name','Date')
    d ={}
    for row in reader:
        print(row['Name'], row['Date'])

これでは、ただ、print文で、表示されるだけですし、row['Name'], row['Date']を
一回だけメモリに格納するだけで、Loop中に書き換わってしまいます。

with open('name.csv', 'r') as csv_file:
    reader = csv.DictReader(csv_file)
    print('Name','Date')
    d ={}
    for row in reader:
        A =row['Name']
        B =row['Date']
    return read_data

A, Bのそれぞれに格納されるデータは、書き換わってしまいます。
配列の様なものを、本やWEBで検索していますが、見つかりません。

read_data ={}
read.append(row['Name']....)

の様な感じですが、appendは使用できません。
最後にreturnで、read_dataの格納されるイメージの方法を考えています。
あくまで、辞書形式で、pandasは使用しない方法を考えています。

classを使えば何とかやれそうなんですが、大掛かりになりそうなので、手が止まっています。
以上、よろしくお願いします。

Answer 1

辞書の初期化タイミングを、ファイルを開く前に持ってくるとよいです。
また、読込処理を関数に分けてみました。
呼出元で読み込んだデータを利用できます。

import csv
from collections import OrderedDict

def read_data(path):
    data = OrderedDict()    # ここで辞書を用意！
    #data = {}  # 行の並び順を維持しなくてよいなら単純な辞書でよい

    with open(path, newline='') as f:
        reader = csv.reader(f)  # 単純なreaderでよい
        next(reader)            # 見出し行を飛ばす
        for row in reader:
            data[row[0]] = row[1]

    return data # 辞書を返す

data = read_data('name.csv')
print(data) # OrderedDict([('hito', '61'), ('hiro', '54'), ('yuto', '17'), ('osamu', '67'), ('keiko', '71')])

for key,val in data.items():
    print('key={},val={}'.format(key,val))

Comments

[oasis701]

おせわになります。
遅くなりました。ご回答ありがとうございました。なぜ、
data[row[0]] = row[1]
でループされるのか、今一つ、分かっておりませんが、ありがとうございます。
辞書形式にして
d[row['Name']] = row['Date']
でも、同じ結果が得られました。
ありがとうございました。

[8524ba23]

具体値では「data['hito'] = 61」などとなり、nameとdateを出現順にdataに追加しています。
ただ、今見直してみると同じ名前が複数あると上書きされてしまいますね。名前が一意なら問題ないですが。

Answer 2

こんにちは

ご質問に書かれていることの中で、

メモリに保存したいです。

という要件を最優先の課題と考えると、いわゆるインメモリデータベースを使うことを検討してもよいかもしれません。具体的に何を使うかで、ぱっと思いつくのは、Redis ですが、これは単に私が使用経験があるというだけで、他にも選択肢はあります。

ちなみに Redis のPython からの操作方法は、Redis pythonでググる といくつか出てきます。私自身はRedisをRubyからしか使ったことがないので、参考までの情報になりますが、以下を使うと出来そうです。

redis-py：The Python interface to the Redis key-value store.
https://github.com/andymccurdy/redis-py

以上、参考になれば幸いです。

追記

ご質問されている要望は、「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」ということと解釈して上記を回答しましたが、プログラムが終了したらメモリから消えてよいのであれば、すみませんが要件の勘違いでしたので、上記の回答は無視して下さい。

Comments

[oasis701]

ご回答ありがとうございます。Redisの紹介、ありがとうございます。installしてみました。
「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」
そうですね。あくまで、csvのデータを、メモリに入れ、何らかの処理をして、csvにまた書き込みたいので、redisでは、csvから、redisにデータを移行するステップが入るので、少しコード数が増加する感じがします。
別の要件で、効率が上がるのなら、redisを使うのも手だと思いました。
ありがとうございます。

[jun68ykt]

コメントありがとうございます。時と場合によりRedis は便利です。