dataframeで新規カラム作成(文字列)

Question

	Season	DayNum	WTeamID	WScore	LTeamID	LScore	WLoc	NumOT
1916	2015	134	1214	74	1264	64	N	0
1917	2015	134	1279	94	1140	90	N	0
1918	2015	135	1173	56	1129	55	N	0
1919	2015	135	1352	81	1316	77	N	0
1920	2015	136	1112	93	1411	72	N	0
...	...	...	...	...	...	...	...	...
1978	2015	146	1181	66	1211	52	N	0
1979	2015	146	1277	76	1257	70	N	1
1980	2015	152	1181	81	1277	61	N	0
1981	2015	152	1458	71	1246	64	N	0
1982	2015	154	1181	68	1458	63	N	0

上記の様なdataframe(このファイル名をdfとします)があり、そこに新規カラムを付け足したいと考えています。

新規カラム名"ID"として、"Seasonの数字"+""+"WTeamIDとLTeamIDの小さい方"+""+"WTeamIDとLTeamIDの大きい方"としたいと思っています。
この際、

df["ID"] = str(df["Season"])+"_"+str(min(df["WTeamID"],df["LTeamID"]))+"_"
+str(max(df["WTeamID"],df["LTeamID"]))

の様にしてみましたが、うまくいきません。。

いくつか問題があるようで、
①str(df["Season"])　のoutputがdataframe形式で返されない

②min(df["WTeamID"],df["LTeamID"]、自体がそもそもerrorとなる

基礎的内容で申し訳ありませんが、手助け頂けますと幸いです。

Answer 1

その1：質問のコードを直したもの

df["ID"] = df['Season'].astype(str).str.cat([
    df[['WTeamID', 'LTeamID']].min(1).astype(str),
    df[['WTeamID', 'LTeamID']].max(1).astype(str)], '_')

その2：より簡単なコード

df["ID"] = df['Season'].astype(str).str.cat(
    np.sort(df[['LTeamID', 'WTeamID']].to_numpy()).astype(str), '_')

その3：リストを使う方法

arr_s = df['Season'].tolist()
arr_lw = np.sort(df[['LTeamID', 'WTeamID']].to_numpy()).tolist()
df["ID"] = pd.Series([f'{s}_{lw[0]}_{lw[1]}' for s, lw in zip(arr_s, arr_lw)],
                     index=df.index)

解説（その1）

①str(df["Season"])　のoutputがdataframe形式で返されない

str()は文字列型を返す関数です。pd.Series（或いはpd.DataFrame）のデータ型を文字列型（正確にはオブジェクト型）にする場合はpd.Series.astype(str)を使います。

In [22]: df['Season']
Out[22]:
1916    2015
1917    2015
1918    2015
1919    2015
1920    2015
...     ...
1978    2015
1979    2015
1980    2015
1981    2015
1982    2015
Name: Season, dtype: int64

In [23]: df['Season'].astype(str)
Out[23]:
1916    2015
1917    2015
1918    2015
1919    2015
1920    2015
...     ...
1978    2015
1979    2015
1980    2015
1981    2015
1982    2015
Name: Season, dtype: object

文字列データ型の結合にはpd.Series.str.cat()を使います。⇒公式ドキュメント

In [24]: df['Season'].astype(str).str.cat(df[['WTeamID', 'LTeamID']].astype(str), '_')
Out[24]:
1916    2015_1214_1264
1917    2015_1279_1140
1918    2015_1173_1129
1919    2015_1352_1316
1920    2015_1112_1411
...     ...
1978    2015_1181_1211
1979    2015_1277_1257
1980    2015_1181_1277
1981    2015_1458_1246
1982    2015_1181_1458
Name: Season, dtype: object

②min(df["WTeamID"], df["LTeamID"])、自体がそもそもerrorとなる

min()は小さい方の数値を返す関数です。pd.Series（或いはpd.DataFrame）の最小値を求める場合はpd.Series.min()を使います。pd.DataFrameの場合は方向を指定します。

In [25]: df[['WTeamID', 'LTeamID']].min(1)
Out[25]:
1916    1214
1917    1140
1918    1129
1919    1316
1920    1112
...     ...
1978    1181
1979    1257
1980    1181
1981    1246
1982    1181
dtype: int64

同様にpd.Series（或いはpd.DataFrame）の最大値を求める場合はpd.Series.max()を使います。

したがって、

In [26]: df['Season'].astype(str).str.cat([
       2     df[['WTeamID', 'LTeamID']].min(1).astype(str),
       3     df[['WTeamID', 'LTeamID']].max(1).astype(str)], '_')
Out[26]:
1916    2015_1214_1264
1917    2015_1140_1279
1918    2015_1129_1173
1919    2015_1316_1352
1920    2015_1112_1411
...     ...
1978    2015_1181_1211
1979    2015_1257_1277
1980    2015_1181_1277
1981    2015_1246_1458
1982    2015_1181_1458
Name: Season, dtype: object

解説（その2）

今回の場合、数値を比較して「小さい方_大きい方」という部分がありますが、この部分はnp.sort()を使うって行ごとに「小さい→大きい」順に並べ替えした配列を作るのが簡便です。
つまり、

In [5]: arr = np.sort(df[['LTeamID', 'WTeamID']].to_numpy())
      2 arr
Out[5]:
array([[1214, 1264],
       [1140, 1279],
       [1129, 1173],
       [1316, 1352],
       [1112, 1411],
        ...   ...
       [1181, 1211],
       [1257, 1277],
       [1181, 1277],
       [1246, 1458],
       [1181, 1458]], dtype=int64)

In [6]: df['Season'].astype(str).str.cat(arr.astype(str), '_')
Out[6]:
1916    2015_1214_1264
1917    2015_1140_1279
1918    2015_1129_1173
1919    2015_1316_1352
1920    2015_1112_1411
...     ...
1978    2015_1181_1211
1979    2015_1257_1277
1980    2015_1181_1277
1981    2015_1246_1458
1982    2015_1181_1458
Name: Season, dtype: object

解説（その3）

pandasのstr関連メソッドは実際にはとても動作が遅いです。標準のリストになおしてforループした方が速い場合があります。

In [11]: arr_s = df['Season'].tolist()
       2 arr_lw = np.sort(df[['LTeamID', 'WTeamID']].to_numpy()).tolist()
       3 id_list = [f'{s}_{lw[0]}_{lw[1]}' for s, lw in zip(arr_s, arr_lw)]
       4 id_list
Out[11]:
['2015_1214_1264',
 '2015_1140_1279',
 '2015_1129_1173',
 '2015_1316_1352',
 '2015_1112_1411',
 '2015_1181_1211',
 '2015_1257_1277',
 '2015_1181_1277',
 '2015_1246_1458',
 '2015_1181_1458']

In [12]: pd.Series(id_list, index=df.index)
Out[12]:
1916    2015_1214_1264
1917    2015_1140_1279
1918    2015_1129_1173
1919    2015_1316_1352
1920    2015_1112_1411
1978    2015_1181_1211
1979    2015_1257_1277
1980    2015_1181_1277
1981    2015_1246_1458
1982    2015_1181_1458
dtype: object

処理速度の比較

その３（リストを使う方法）が最も速いようです。@can110氏の方法（df.applyを使った方法）はデータ数が少ないときは次いで速いですが、行数が増えるとかなり遅くなります。

Comments

[pickle]

>kirara0048さん
ご回答ありがとうございます！3つも解法を提示頂き、疑問についてもお答え頂き誠に有難うございます。
疑問についてもすっかり解決されました。pd.Series/DataFrameにはstr()やmin()は直接作用させられず、Series.str()やSeries.min()を使用しないといけないのですね。

解法1-3についても丁寧に解説頂き、すべて理解できました。
to_listのやり方は一度list形式に戻すので、code自体は少し手間に感じてしまいますが、速度が速いのですね。

丁寧にご回答頂き、すっきりしました。今後とも宜しくお願い致します。

Answer 2

以下のような感じでしょうか。

import pandas as pd

def func(r):
    return '{}_{}_{}'.format( r['S'], min(r['W'], r['L']), max(r['W'], r['L']))

df = pd.DataFrame({'S':[1,2], 'W':[1,4], 'L':[2,3]})
df['ID'] = df.apply(func, axis=1)
print(df)
#   S  W  L     ID
#0  1  1  2  1_1_2
#1  2  4  3  2_3_4

Comments

[pickle]

>can110さん
ご回答ありがとうございます！例示も頂き、非常に分かりやすかったです。
実際にそのcodeで目的のカラムを作成する事が出来ました。
今後とも宜しくお願い致します。