配列をループ処理を用いて宣言する方法

Question

プログラミング初心者です.
現在,pythonを用いてcsv形式のデータの分析を行っております.
前提として,csv,numpy,pandasなどのモジュールを使用しないプログラムを組んでおります.

idの数分だけ配列を宣言し,idごとにデータを配列に格納した後,idごとのvalueの平均値を求めるというプログラムを作成したのですが,
以下のようにとても長いプログラムになってしまいました．
プログラムを簡略化する方法があればご指摘いただきたいです．
特に知りたい点は,配列や変数の宣言をループ処理を用いて行うことは可能なのか,
また,いくつかの配列に関して一括でループ処理を行うことは可能なのかという点です．
よろしくお願いします．
（プログラムの後にデモのファイルを記しました．)

filepath = 'demo.csv' 

with open(filepath,) as f:
    data2=[]
    for line in f:
        line = line.replace('\n','')
        data = line.split(',')
        data2.append(data)
id1=[]
id2=[]
id3=[]
id4=[]
id5=[]

for i in data2:
    if i[1] =='1':
        id1.append(i)

for i in data2:
    if i[1] =='2':
        id2.append(i)

for i in data2:
    if i[1] =='3':
        id3.append(i)

for i in data2:
    if i[1] =='4':
        id4.append(i)

for i in data2:
    if i[1] =='5':
        id5.append(i)
sum1=0
sum2=0
sum3=0
sum4=0
sum5=0

for i in id1:
    sum1= int(i[2]) + sum1
ave1=sum1/len(id1)

for i in id2:
    sum2= int(i[2]) + sum2
ave2=sum2/len(id2)

for i in id3:
    sum3= int(i[2]) + sum3
ave3=sum3/len(id3)

for i in id4:
    sum4= int(i[2]) + sum4
ave4=sum4/len(id4)

for i in id5:
    sum5= int(i[2]) + sum5
ave5=sum5/len(id5)

print(ave1)
print(ave2)
print(ave3)
print(ave4)
print(ave5)

idは1から5の乱数,valueは10から20の乱数で作成しました．
no,id,value
1,1,16
2,1,20
3,4,11
4,3,15
5,3,18
6,2,16
7,1,14
8,4,15
9,2,10
10,2,19
11,2,11
12,5,14
13,1,19
14,4,10
15,5,18
16,2,10
17,2,11
18,2,10
19,2,12
20,3,14
21,5,14
22,4,11
23,2,11
24,1,14
25,2,12
26,1,17
27,2,13
28,4,12
29,1,20
30,1,11

Answer 1

簡単なところから。

for i in data2:
    if i[1] =='1':
        id1.append(i)

for i in data2:
    if i[1] =='2':
        id2.append(i)

for i in data2:
    if i[1] =='3':
        id3.append(i)

for i in data2:
    if i[1] =='4':
        id4.append(i)

for i in data2:
    if i[1] =='5':
        id5.append(i)

どうしてこう書こうと思ったのかはわかりませんが、forループ1つで良いことは明らかです。

for i in data2:
    if i[1] =='1':
        id1.append(i)
    if i[1] =='2':
        id2.append(i)
    if i[1] =='3':
        id3.append(i)
    if i[1] =='4':
        id4.append(i)
    if i[1] =='5':
        id5.append(i)

---

次。

id1=[]
id2=[]
id3=[]
id4=[]
id5=[]

これと同じものを自動生成することはできません。残念。

変数を5つ作るより良いやり方があるからですが。

たとえばlistのlistにするとか。

ids = [[], [], [], [], []]

これはループでも生成できます。

ids = []
for _ in range(5):
    ids.append([])

リスト内包表記も使えます。

ids = [[] for _ in range(5)]

で、仮にこの表現を採用するなら、ループ部分は以下のようになります。

for i in data2:
    if i[1] =='1':
        ids[0].append(i)
    if i[1] =='2':
        ids[1].append(i)
    if i[1] =='3':
        ids[2].append(i)
    if i[1] =='4':
        ids[3].append(i)
    if i[1] =='5':
        ids[4].append(i)

これはこれで元のコードとほぼ等価の記述ができていますが（indexは0から数え始まるのでそれだけは慣れてください）、いかにも間抜けです。

今回はi[1]（csvのid列）が都合よく1から5の数字なので、これをうまく活用すると良いのかもしれません。

for i in data2:
    ids[int(i[1]) - 1].append(i)

でもまあ、こんなに都合の良い場合は少ないので、もう少し汎用性をもたせようとするとdictを使うことになります。

ids = {"1":[], "2":[], "3":[], "4":[], "5":[]}

みたいな形で初期化しておけば、

for i in data2:
    ids[i[1]].append(i)

で済みます。ただし、予めキーがわからないこともあるでしょう、というわけで、そういうときは標準ライブラリのcollectionsモジュールからdefaultdictクラスをimportして使うと便利です。

from collections import defaultdict

ids = defaultdict(list)

としておけば、存在しないキーは空のリストで初期化してくれます。

---

とりあえず辞書にしたとしておく。ループ処理は簡単に可能です。

for k, v in ids.items():
    ...

この場合、辞書のキーの順序は都合よく出てこないので、昇順になることを望むのであればソートする。自分が設定した任意の順番で出させたいのであれば、望む順序になっているキーのlistで回すかする必要があるでしょう。

for k in sorted(ids.keys()):
    v = ids[k]
    ... 

for k in ["1", "2", "3", "4", "5"]:
    v = ids[k]
    ...

あとはこの中で平均の計算を書けば良いです。

for k in ["1", "2", "3", "4", "5"]:
    v = ids[k]
    s = 0
    for x in v:
        s += int(x[2])
    ave = s / len(v)
    print(ave)

でも、これにループを使うのは大げさで、sum関数とジェネレータ式の組み合わせで書けば十分です。

for k in ["1", "2", "3", "4", "5"]:
    v = ids[k]
    ave = sum(int(x[2]) for x in v) / len(v)
    print(ave)

Comments

[TKWTsan]

部分ごとに詳細な説明ありがとうございます。
参考にさせていただきます。

Answer 2

以下のようになるかと思います。
既存の処理をループ処理でdictに格納するようにしています。

※ファイル読み込み部については既存コードに置き換えてください。

a = """no,id,value
1,1,16
2,1,20
29,1,20
30,1,11""" # データは途中省略

data2 = []
for line in a.split('\n')[1:]:
    data = line.split(',')
    data2.append(data)
result = {}
for d in data2:
    l = result.get(d[1], [])
    l.append(d)
    result[d[1]] = l

for k, v in result.items():
    ave = sum([int(l[2]) for l in v]) / len(v)
    print('key: {}, ave: {}'.format(k, ave))

Comments

[TKWTsan]

回答ありがとうございます。
申し訳ないのですが、下2つのfor文についてもう少し詳細に説明して頂けないでしょうか。

[TKWTsan]

辞書型の基礎的なことが理解できていませんでした。
ありがとうございました。

Answer 3

配列の配列の使い方を覚えるといいと思います。

id = []

id[1] = []

Comments

[hayataka2049]

pythonの場合はその通りに書くとエラーになります。

[otn]

失礼しました。いくつも書くのめんどくさいなと思ってずぼらを考えたらミスってしまいました。
id = [ [], [], [], [], [], [] ]
ですね。