python 長さの違うcsvファイルの扱いに関して

Question

pythonについての質問です．
|Generation|ID|Round|||||||
|:--|:--:|:--:|
|1|0|1|[1|2|3|4]
|2|0|2|[2|3|5|6|7]

Generation,Agent_ID,Round
0,0,1,[1, 2, 3, 4]
0,0,2,[2, 3, 5, 6, 7]

以上のようなcsvファイルがあります．

この時，Generation=1の時，[]内に含まれている数字がGeneration=２の時の[]内に含まれている確率を調べたいです．
csvファイルには，　[1 で１セル，2で１セル，３で１セル，４]で１セルのように書き出してあります．

Comments

[hayataka2049]

まずそれは一般的にcsvファイルと呼ばれるフォーマットではないので、実際のテキスト形式でどのように表されているのか<code>ボタンで挿入できるコードブロックを使って掲載するように編集してください。

[hayataka2049]

えーっと、markdownの表にはしなくていいので、「テキスト形式のCSV」で掲載してください

[hayataka2049]

編集に失敗しているようなので、プレビュー見ながら調整してください。基本的にコード部分の上下を```で囲う必要があります。
そのフォーマットで間違いないんですね。

[pythoner123]

修正いたしました．
間違い無いです．

[Orlofsky]

誤解されるだけですから、markdownの表 の部分は削除しては？

[Orlofsky]

csvとは同じ個数のデータを , で区切ったものです。
これは csv ではないので、csvという記述も削ってください。

[magichan]

個人的には、サンプルを動作させる為にテキスト形式のcsvファイルを貼っていただいた方が大変助かるのですが、markdownのテーブル形式のデータも「あるならあった方が良い」と思うので消す必要はないのでは思います。
（CSVは人間が目視でデータ構成を確認するには不向きかと）

「CSVデータをそのまま貼っていただいたら、テーブルを無理して作成する必要がない」というのは同意です。

[magichan]

今回の場合も（CSVに間違いがあるために）どの列にどのカラム名が対応するのかをCSVファイルもみからだと判別が不可能なのですが、テーブル表があるので一応対応を確認できるので一応役立ってます。

[sage]

全てを作ってほしいというのはteratailでは推奨されません。
どこまでやり、何に困っているのですか。あなたが何に困っているのかを明示すると、その解決方法を教えてくれる人も現れるだろうし、困っていたことと解決方法が記録に残れば後で同様に困った人が助かります。そのための場がteratailだと思います。

Answer 1

まずCSVデータですが、

Generation,Agent_ID,Round,Data
0,0,1,"[1, 2, 3, 4]"
0,0,2,"[2, 3, 5, 6, 7]"

のように

• リスト部をQuoteで囲む
• ヘッダ行にてリスト部にもカラム名を指定 (','だけでもよい)

であれば普通にCSVとして読めるかと思います。

ということで、データをテキストで読み込んで上記を修正（置換）したあとでPandasでCSVとして読み込むという手法を取ります。
あとリスト部の解析(文字列 to List)には Json Parserを使用します

import pandas as pd
import json
import io

with open('data.csv') as f:
    data = f.read()
    data = data.replace('Round', 'Round,Data') #ヘッダ行修正
    data = data.replace('[', '\"[').replace(']', ']\"') #Quote追加処理
    df = pd.read_csv(io.StringIO(data),
                     index_col='Round',
                     converters={'Data':lambda d: json.loads(d)})
print(df)
#       Generation  Agent_ID             Data
#Round
#1               0         0     [1, 2, 3, 4]
#2               0         0  [2, 3, 5, 6, 7]

あとは、Generation=1 の行とGeneration=２の行が１行ずつしか無いと仮定すると、単なるリスト同士の処理なので

p = np.mean([d in df.loc[2, 'Data'] for d in df.loc[1, 'Data']])
print(p)
# 0.5

とでもすると良いのではないでしょうか。