Pythonでcsvファイルをリストとして読み込んで要素数を取得したい

Question

Pythonでcsvファイルを読み込んで要素数を取得したいです
以下csvファイルです

number,data
1,[1,25,3]
1,[3,44,1]
2,[4,66,1,44,6]
3,[6,41,15,65]

以上のcsvをnumberの種類ごとにdataの要素数をカウントしたいのですが
(number=1のとき6個のように)
dataヘッダーの列に[]がついたまま数値を記入してあるために、
うまく要素数をカウントできません

以下現在のコードです

import pandas as pd
import json
import io
import numpy as np
import csv

for i in range(0,3):
    with open('d'+str(i)+'.csv') as f:
        da = f.read()
        df = pd.read_csv(io.StringIO(da))
        for j in range(0,4):
            df2 = df[(df["number"]==j)]
            df2 = df2.reset_index()
            l=df2["Data"]
            print(l1)
            print(len(l1))
            print(sum(len(v) for v in l))

Comments

[LouiS0616]

現状できているコードを載せてください。

Answer 1

[]によるグループ化をしている時点で純粋なCSVとは呼べません。
pandasにあまり詳しくないので断言はできませんが、普通の方法で扱うのは難しいでしょう。

目的に応じて解決策は変わってきます。

1. dataの個数が分かれば良い場合

カンマの個数を数えれば要素数は分かります。
numberの抽出を除けば、あとはテキストの処理だけで済みます。
0. dataの要素を活用したい場合
半構造データを表現したいなら、jsonやyamlの利用を検討すると良いです。

Answer 2

from collections import Counter

rows = '''\
number,data
1,[1,25,3]
1,[3,44,1]
2,[4,66,1,44,6]
3,[6,41,15,65]
'''

counter = Counter()
reader = iter(row.split(',', 1) for row in rows.splitlines())

next(reader)  # 1行目をスキップ
for number, data in reader:
    counter[number] += len(data.split(','))

print(counter)

Comments

[LouiS0616]

reader = (...) で良いところ、iter関数を噛ませているのは可読性を上げるためでしょうか？

[YouheiSakurai]

おっしゃる通りiterは不要ですよね。最近iterとnextをペアで使ったので自分の頭がバグってました。