TextファイルからpandasのDataFrameを作成する方法について

Question

0,19990214
1,1001	Tom	30	59	20	41	59
2,1002	Judy	40	50	31	53	60
・
・
・
0,19991215
1,1001	Tom	45	69	30	21	69
2,1002	Judy	50	20	71	43	70

というデータが記載されたtextファイルがあります。

このファイルの中身をTom　のデータだけ取り出して、

“Date”	     ”A”	 ”B”	          ”C”           ”D”        ”E”
 19990214    30	 59	           20	           41	      59
 19990215    40	100		   80	  	   79       30
・
・
・
19991215	     45	  69	          30	           21	       69

というDataFrameに変形したいです。

df = pd.read_table("socre.txt", names=["ID","Name","A","B","C","D","E"])
df.query('Name == "Tom"’)
del df['ID']
del df['Name']
df

とコードを書いて実行すると、
“Date”のデータはないDataFrameができます。このDataFrameに行毎の19990214や19991215を“Date”に入れたいのですが、どのようにコードを書いたら良いでしょうか？

Answer 1

とりあえずデータは

df = pd.read_table("socre.txt",
                   names=["ID","Date","Name","A","B","C","D","E"],
                   sep='\s+|,'
                   engine='python')

のように セパレータに "space"と"comma" の２つを指定すると読めるのではないでしょうか。

このDataFrameに行毎の19990214や19991215を“Date”に入れたいのですが

これは少し面倒ですね・・

とりあえず、サンプルを書いてみました（余分な処理も入れてありますので少し長くなりましたが・・）ので参考にしてみてください

import pandas as pd
import io

data="""
0,19990214
1,1001    Tom    30    59    20    41    59
2,1002    Judy    40    50    31    53    60
0,19991215
1,1001    Tom    45    69    30    21    69
2,1002    Judy    50    20    71    43    70
"""

df = pd.read_table(
    io.StringIO(data),
    names=["ID", "Date", "Name", "A", "B", "C", "D", "E"],
    sep='\s+|,',
    engine='python')

# IDが"0"である行を区切りにGroupIDを振る
df['GroupID'] = (df.ID == 0).cumsum()
# GroupIDをDateに変換するためのテーブルを作成
conv = df.loc[df.ID==0, ['GroupID','Date']].set_index('GroupID').iloc[:,0]
# 各GroupIDからDateを生成して Date列に代入
df['Date'] = df.GroupID.map(conv)
# Date列をDatetime型に変換
df['Date'] = pd.to_datetime(df.Date.astype(str))
# 余分なデータを削除
df = df.drop(df[df.ID == 0].index)
df = df.drop(columns=['GroupID'])
# Indexを振りなおす
df = df.reset_index(drop=True)
# これでまともなDataFrameになったはず
print(df)
#0   1 1999-02-14   Tom  30.0  59.0  20.0  41.0  59.0
#1   2 1999-02-14  Judy  40.0  50.0  31.0  53.0  60.0
#2   1 1999-12-15   Tom  45.0  69.0  30.0  21.0  69.0
#3   2 1999-12-15  Judy  50.0  20.0  71.0  43.0  70.0

# 後は'Tom'を取り出す
print(df[df.Name=='Tom'])
#   ID       Date Name     A     B     C     D     E
#0   1 1999-02-14  Tom  30.0  59.0  20.0  41.0  59.0
#2   1 1999-12-15  Tom  45.0  69.0  30.0  21.0  69.0

Comments

[k0908]

ありがとうございます。
df = pd.read_table(
io.StringIO(data),
names=["ID", "Date", "Name", "A", "B", "C", "D", "E"],
sep='\s+|,',
engine='python')
を実行すると、

[k0908]

ParserError: Expected 8 fields in line 193, saw 15. Error could possibly be due to quotes being ignored when a multi-char delimiter is used.
とエラーが出ます。

[k0908]

その前に、
ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support regex separators (separators > 1 char and different from '\s+' are interpreted as regex); you can avoid this warning by specifying engine='python'.
"""Entry point for launching an IPython kernel.

とwarnignも出ます。jupyternotebookではsep='\s+|,'が使えないのでしょうか？

[k0908]

すみません、自己解決できました！ありがとうございます