pandasのDataFrameの要素からindex名を取得する方法

Question

Python初心者です。pandasのDataFrameを使ってデータ処理を練習しています。 Python3を使っています。

前提・実現したいこと

２つのDataFrame(1, 2)をベースにそれぞれのイベント時の年齢を出すようなプログラムを検討しています。

手元には加工用のデータとしてDataFrame1(出生日データ)、DataFrame2(各イベント時における年月日)。このDataFrame2の形をベースにしたまま、各イベントにおける年月日を、DataFrame1の情報を元に年齢に振り分けをしたいです。

DataFrame1とDataFrame2のindexはそれぞれ共通のindexを利用しているというという前提です。誕生日のデータはたくさんあり、その中に該当するidと誕生日が埋もれているイメージです。(追記)

#加工に使用する元データ

#DataFrame1
#    birthday
#12  1910-01-01
#9   1980-02-03
:
#8   1962-04-04
#10  1949-04-06


#DataFrame2
#    high_school university1 university2
#8   1977-03-31  1985-03-31  1999-3-31
#9   1995-03-31  None        None
#10  1954-03-31  1964-3-31   None

#最終的に完成してほしい形(日時を年齢に置き換える)

#DataFrame3
#    high_school university1 university2
#8   15          23          42
#9   15          None        None
#10  15          22          None

実際に算出するステップとしては下記を考えました
1.DataFrame2.applymapの形で一気に処理することを想定
2.処理実行時に該当の要素について、その位置にある「インデックス名を取得」。
3.取得したインデックス名をDataFrame1で確認し該当する出生日を回収して、該当要素にある年月日と差し引きを行い、年齢を出す。
4.処理した結果DataFrame2に入っている出生日がイベント発生時の年齢に置き換わる(DataFrame3を取得)。

上記考えた際に「該当する要素のインデックス名を取得する方法」が実装できずにおり、アドバイスもらえると嬉しいです。また、もっと簡単な方法があれば是非教えてほしいです。

*イベント日時などは質問用に適当に作成したもので特に一貫性はありません。

Comments

[meg_]

「1962-04-04」生まれの人が「1925-03-31」に高校を卒業したのですか？　この場合はNoneになるということですか？？

[ROKUNO]

申し訳ございません、私の問題設定のミスになります。1962生まれので、1977年卒業に修正しました。混乱をさせてしまい申し訳ございません。

Answer 1

DataFrame2.sub(DataFrame1["birthday"], 0)//pd.Timedelta(365, 'D')

---

追記

import io
import pandas as pd

text = """birthday
12,'1910-01-01'
9,'1980-02-03'
8,'1962-04-04'
10,'1949-04-06'"""
text2 = """high_school,university1,university2
8,'1977-03-31','1985-03-31','1999-3-31'
9,'1995-03-31',,
10,'1954-03-31','1964-3-31',
"""

df = pd.read_csv(io.StringIO(text))
df2 = pd.read_csv(io.StringIO(text2)).fillna(pd.NaT)

df.iloc[:, 0] = pd.to_datetime(df.iloc[:, 0]).dt.strftime('%Y%m%d').astype(float)
df2.iloc[:, 0] = pd.to_datetime(df2.iloc[:, 0]).dt.strftime('%Y%m%d').astype(float)
df2.iloc[:, 1] = pd.to_datetime(df2.iloc[:, 1]).dt.strftime('%Y%m%d').astype(float)
df2.iloc[:, 2] = pd.to_datetime(df2.iloc[:, 2]).dt.strftime('%Y%m%d').astype(float)

print(df)
#       birthday
# 12  19100101.0
# 9   19800203.0
# 8   19620404.0
# 10  19490406.0
print(df2)
#     high_school  university1  university2
# 8    19770331.0   19850331.0   19990331.0
# 9    19950331.0          NaN          NaN
# 10   19540331.0   19640331.0          NaN

として、

result = df2.sub(df['birthday'], 0) // 10000
print(result.astype('Int64'))
#     high_school  university1  university2
# 8            14           22           36
# 9            15         <NA>         <NA>
# 10            4           14         <NA>
# 12         <NA>         <NA>         <NA>

あるいは、

result = df2.sub(df['birthday'].reindex(df2.index), 0) // 10000
print(result.astype('Int64'))
#     high_school  university1  university2
# 8            14           22           36
# 9            15         <NA>         <NA>
# 10            4           14         <NA>

Comments

[kirara0048]

ああ、うるう年とかあるから365日で割って変換するのは駄目ですね（）

[ROKUNO]

回答有難うございます、いただいた形だとDataFrame2とDataFrame1はそれぞれ同じfeature spaceになっている前提でしょうか？
>ValueError: operands could not be broadcast together with shapes
というエラーが返ってきました。

私の書き方がわかりずらく申し訳ないのですが(後ほど修正してみます)、今回の課題設定では、DataFrame2の該当要素に対応するindexが、DataFrameのindexと共通ですが、形そのものが揃っているわけではないという状況になってます。

[kirara0048]

indexの順番が異なっていてもラベルが共通していればそれに基づいてに計算されます。片方にしかないindexがある場合は「 DataFrame.reindex() 」を使ってください。

[ROKUNO]

ありがとうございます！

Answer 2

冗長かもしれませんが。

import pandas as pd
import io
import numpy as np

text = """birthday
12,'1910-01-01'
9,'1980-02-03'
8,'1962-04-04'
10,'1949-04-06'"""

text2 = """high_school,university1,university2
8,'1977-03-31','1985-03-31','1999-3-31'
9,'1995-03-31',,
10,'1954-03-31','1964-03-31',
"""

df = pd.read_csv(io.StringIO(text))
df2 = pd.read_csv(io.StringIO(text2))

df3 = pd.merge(df2, df, left_index=True, right_index=True)

df3['high_school'] = pd.to_datetime(df3['high_school'])
df3['university1'] = pd.to_datetime(df3['university1'])
df3['university2'] = pd.to_datetime(df3['university2'])
df3['birthday'] = pd.to_datetime(df3['birthday'])

df3['high_school2'] = df3['high_school'].dt.year
df3['university1_'] = df3['university1'].dt.year
df3['university2_'] = df3['university2'].dt.year
df3['birthday2'] = df3['birthday'].dt.year

df3 = df3.drop(['high_school', 'university1', 'university2', 'birthday'], axis=1)

df3['high_school2'] = df3['high_school2'] - df3['birthday2']
df3['university1_'] = df3['university1_'] - df3['birthday2']
df3['university2_'] = df3['university2_'] - df3['birthday2']

df3 = df3.drop('birthday2', axis=1)

df3 = df3.rename(columns={'high_school2':'high_school', 'university1_':'university', 'university2_':'university2'})

#    high_school  university  university2
#8            15        23.0         37.0
#9            15         NaN          NaN
#10            5        15.0          NaN

Comments

[ROKUNO]

ありがとうございます！こちらのコードに近い形で最終作成できました！