質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.59%

pythonでcsvのデータを辞書型でPCのメモリに格納したいです。

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 1,710

hit701

score 89

 前提・実現したいこと

お世話になります。
csvに保存したデータを、辞書形式でメモリに保存したいです。

 発生している問題・エラーメッセージ

まず、open w で下記の様に、csvを作りました。

import csv

data = {'hito' : 61,'hiro' : 54,'yuto'  :  17,'osamu': 67,'keiko':71}

with open('name.csv', 'w', newline='') as csv_file:
    fieldnamse = ['Name', 'Date']
    writer = csv.DictWriter(csv_file,fieldnames=fieldnamse)
    writer.writeheader()
    for name, key in data.items():
        writer.writerow({
            'Name': name,
            'Date': key
        })


その結果、下記のデータとなります。
Name,Date
hito,61
hiro,54
yuto,17
osamu,67
keiko,71

 試したこと

今度、csvに保存したデータを、PCのメモリに格納したいのです。
下記の様にしました。

import csv
with open('name.csv', 'r') as csv_file:
    reader = csv.DictReader(csv_file)
    print('Name','Date')
    d ={}
    for row in reader:
        print(row['Name'], row['Date'])


これでは、ただ、print文で、表示されるだけですし、row['Name'],  row['Date']を
一回だけメモリに格納するだけで、Loop中に書き換わってしまいます。

with open('name.csv', 'r') as csv_file:
    reader = csv.DictReader(csv_file)
    print('Name','Date')
    d ={}
    for row in reader:
        A =row['Name']
        B =row['Date']
    return read_data


A, Bのそれぞれに格納されるデータは、書き換わってしまいます。
配列の様なものを、本やWEBで検索していますが、見つかりません。

read_data ={}
read.append(row['Name']....)


の様な感じですが、appendは使用できません。
最後にreturnで、read_dataの格納されるイメージの方法を考えています。
あくまで、辞書形式で、pandasは使用しない方法を考えています。

classを使えば何とかやれそうなんですが、大掛かりになりそうなので、手が止まっています。
以上、よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+2

辞書の初期化タイミングを、ファイルを開く前に持ってくるとよいです。
また、読込処理を関数に分けてみました。
呼出元で読み込んだデータを利用できます。

import csv
from collections import OrderedDict

def read_data(path):
    data = OrderedDict()    # ここで辞書を用意!
    #data = {}  # 行の並び順を維持しなくてよいなら単純な辞書でよい

    with open(path, newline='') as f:
        reader = csv.reader(f)  # 単純なreaderでよい
        next(reader)            # 見出し行を飛ばす
        for row in reader:
            data[row[0]] = row[1]

    return data # 辞書を返す

data = read_data('name.csv')
print(data) # OrderedDict([('hito', '61'), ('hiro', '54'), ('yuto', '17'), ('osamu', '67'), ('keiko', '71')])

for key,val in data.items():
    print('key={},val={}'.format(key,val))

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/11/12 19:47

    おせわになります。
    遅くなりました。ご回答ありがとうございました。なぜ、
    data[row[0]] = row[1]
    でループされるのか、今一つ、分かっておりませんが、ありがとうございます。
    辞書形式にして
    d[row['Name']] = row['Date']
    でも、同じ結果が得られました。
    ありがとうございました。

    キャンセル

  • 2018/11/12 19:54

    具体値では「data['hito'] = 61」などとなり、nameとdateを出現順にdataに追加しています。
    ただ、今見直してみると同じ名前が複数あると上書きされてしまいますね。名前が一意なら問題ないですが。

    キャンセル

+1

こんにちは

ご質問に書かれていることの中で、

 メモリに保存したいです。

という要件を最優先の課題と考えると、いわゆるインメモリデータベースを使うことを検討してもよいかもしれません。具体的に何を使うかで、ぱっと思いつくのは、Redis ですが、これは単に私が使用経験があるというだけで、他にも選択肢はあります。

ちなみに Redis のPython からの操作方法は、Redis pythonでググる といくつか出てきます。私自身はRedisをRubyからしか使ったことがないので、参考までの情報になりますが、以下を使うと出来そうです。

redis-py:The Python interface to the Redis key-value store.
https://github.com/andymccurdy/redis-py

以上、参考になれば幸いです。

 追記

ご質問されている要望は、「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」ということと解釈して上記を回答しましたが、プログラムが終了したらメモリから消えてよいのであれば、すみませんが要件の勘違いでしたので、上記の回答は無視して下さい。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/11/10 21:57

    ご回答ありがとうございます。Redisの紹介、ありがとうございます。installしてみました。
    「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」
    そうですね。あくまで、csvのデータを、メモリに入れ、何らかの処理をして、csvにまた書き込みたいので、redisでは、csvから、redisにデータを移行するステップが入るので、少しコード数が増加する感じがします。
    別の要件で、効率が上がるのなら、redisを使うのも手だと思いました。
    ありがとうございます。

    キャンセル

  • 2018/11/11 13:29

    コメントありがとうございます。時と場合によりRedis は便利です。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.59%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る