質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

2回答

1314閲覧

pythonでcsvのデータを辞書型でPCのメモリに格納したいです。

hit701

総合スコア148

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

1クリップ

投稿2018/11/10 10:05

前提・実現したいこと

お世話になります。
csvに保存したデータを、辞書形式でメモリに保存したいです。

発生している問題・エラーメッセージ

まず、open w で下記の様に、csvを作りました。

python

1import csv 2 3data = {'hito' : 61,'hiro' : 54,'yuto' : 17,'osamu': 67,'keiko':71} 4 5with open('name.csv', 'w', newline='') as csv_file: 6 fieldnamse = ['Name', 'Date'] 7 writer = csv.DictWriter(csv_file,fieldnames=fieldnamse) 8 writer.writeheader() 9 for name, key in data.items(): 10 writer.writerow({ 11 'Name': name, 12 'Date': key 13 }) 14

その結果、下記のデータとなります。
Name,Date
hito,61
hiro,54
yuto,17
osamu,67
keiko,71

試したこと

今度、csvに保存したデータを、PCのメモリに格納したいのです。
下記の様にしました。

python

1import csv 2with open('name.csv', 'r') as csv_file: 3 reader = csv.DictReader(csv_file) 4 print('Name','Date') 5 d ={} 6 for row in reader: 7 print(row['Name'], row['Date'])

これでは、ただ、print文で、表示されるだけですし、row['Name'], row['Date']を
一回だけメモリに格納するだけで、Loop中に書き換わってしまいます。

python

1with open('name.csv', 'r') as csv_file: 2 reader = csv.DictReader(csv_file) 3 print('Name','Date') 4 d ={} 5 for row in reader: 6 A =row['Name'] 7 B =row['Date'] 8 return read_data

A, Bのそれぞれに格納されるデータは、書き換わってしまいます。
配列の様なものを、本やWEBで検索していますが、見つかりません。

python

1read_data ={} 2read.append(row['Name']....)

の様な感じですが、appendは使用できません。
最後にreturnで、read_dataの格納されるイメージの方法を考えています。
あくまで、辞書形式で、pandasは使用しない方法を考えています。

classを使えば何とかやれそうなんですが、大掛かりになりそうなので、手が止まっています。
以上、よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

辞書の初期化タイミングを、ファイルを開く前に持ってくるとよいです。
また、読込処理を関数に分けてみました。
呼出元で読み込んだデータを利用できます。

Python

1import csv 2from collections import OrderedDict 3 4def read_data(path): 5 data = OrderedDict() # ここで辞書を用意! 6 #data = {} # 行の並び順を維持しなくてよいなら単純な辞書でよい 7 8 with open(path, newline='') as f: 9 reader = csv.reader(f) # 単純なreaderでよい 10 next(reader) # 見出し行を飛ばす 11 for row in reader: 12 data[row[0]] = row[1] 13 14 return data # 辞書を返す 15 16data = read_data('name.csv') 17print(data) # OrderedDict([('hito', '61'), ('hiro', '54'), ('yuto', '17'), ('osamu', '67'), ('keiko', '71')]) 18 19for key,val in data.items(): 20 print('key={},val={}'.format(key,val))

投稿2018/11/10 10:53

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hit701

2018/11/12 10:47

おせわになります。 遅くなりました。ご回答ありがとうございました。なぜ、 data[row[0]] = row[1] でループされるのか、今一つ、分かっておりませんが、ありがとうございます。 辞書形式にして d[row['Name']] = row['Date'] でも、同じ結果が得られました。 ありがとうございました。
can110

2018/11/12 10:54

具体値では「data['hito'] = 61」などとなり、nameとdateを出現順にdataに追加しています。 ただ、今見直してみると同じ名前が複数あると上書きされてしまいますね。名前が一意なら問題ないですが。
guest

0

こんにちは

ご質問に書かれていることの中で、

メモリに保存したいです。

という要件を最優先の課題と考えると、いわゆるインメモリデータベースを使うことを検討してもよいかもしれません。具体的に何を使うかで、ぱっと思いつくのは、Redis ですが、これは単に私が使用経験があるというだけで、他にも選択肢はあります。

ちなみに Redis のPython からの操作方法は、Redis pythonでググる といくつか出てきます。私自身はRedisをRubyからしか使ったことがないので、参考までの情報になりますが、以下を使うと出来そうです。

redis-py:The Python interface to the Redis key-value store.
https://github.com/andymccurdy/redis-py

以上、参考になれば幸いです。

追記

ご質問されている要望は、「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」ということと解釈して上記を回答しましたが、プログラムが終了したらメモリから消えてよいのであれば、すみませんが要件の勘違いでしたので、上記の回答は無視して下さい。

投稿2018/11/10 10:26

編集2018/11/10 19:01
jun68ykt

総合スコア9058

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hit701

2018/11/10 12:57

ご回答ありがとうございます。Redisの紹介、ありがとうございます。installしてみました。 「CSVからメモリにデータを移行して、プログラムが終了してもメモリから消えないようにしたい」 そうですね。あくまで、csvのデータを、メモリに入れ、何らかの処理をして、csvにまた書き込みたいので、redisでは、csvから、redisにデータを移行するステップが入るので、少しコード数が増加する感じがします。 別の要件で、効率が上がるのなら、redisを使うのも手だと思いました。 ありがとうございます。
jun68ykt

2018/11/11 04:29

コメントありがとうございます。時と場合によりRedis は便利です。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問