pandasを使って、csvファイル内の要素を、別のcsvファイルで検索し、条件を満たす行名を抽出する方法がわかりません。

Question

前提・実現したいこと

実現したいことは以下になります。

1. original_data.csvからitemtypeを抽出する

2.1.で抽出したitemtypeをreference_data.csv内で検索し、該当がある場合は、reference_data.csvのfunctionをoriginal_data.csvに挿入。
例）itemtypeが"button"の場合、abcを実行,xyzを実行,123を実行がoriginal_data.csvの"button"の行に新たに追加されるイメージです

最終出力のoriginal_data.csvには、outputという行が追加されて
reference_data.csvから取得したfunctionのabcを実行,xyzを実行,123を実行がそれぞれのbuttonに追加される想定です。
original_data.csvに最終的に出力したいことは以下です。
screen function itemtype output
1 abc画面 画面に遷移 button abcを実行,xyzを実行,123を実行
2 123画面 画面に遷移 button abcを実行,xyzを実行,123を実行
3 xyz画面 画面にリダイレクト link

発生している問題・エラーメッセージ

発生している問題：
reference_dataから、itemtypeがbuttonの要素を抽出した結果を、再度original_data.csvのbutton要素と同じ行に、追加したいのですが、行数が一致しないとエラーが出てしまい、出力できません。

"Length of values "
ValueError: Length of values (1) does not match length of index (3)

該当のソースコード

import pandas


df = pandas.read_csv("original_data.csv")
ref_df = pandas.read_csv("reference_data.csv")

#original_dataからitemtypeがbuttonを取得
temp_data = df[df.itemtype == "button"]

#reference_dataから、itemtypeがbuttonを抽出したいのですが、すべての行が抽出されてしまいます。
stored_data = df.filter(items=temp_data)

#reference_dataから、itemtypeがbuttonを抽出した結果を、output_dataに出力したいのですが、こちらはエラーになってしまいます。
df["output"] = [stored_data]
df.to_csv("original_data.csv")

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

◆"original_data.csv"
screen,function,itemtype
xyz画面,画面にリダイレクト,link
abc画面,画面に遷移,button
123画面,画面に遷移,button

◆"reference_data.csv"
itemtype,function
link,abcに遷移
button,abcを実行
button,xyzを実行
button,123を実行

Comments

[meg_]

> #reference_dataから、itemtypeがbuttonを抽出したいのですが、すべての行が抽出されてしまいます。
> stored_data = df.filter(items=temp_data)
dfはoriginal_data.csvではないのですか？

[docghoge]

meg_さん
> stored_data = df.filter(items=temp_data)
> dfはoriginal_data.csvではないのですか？
すみません、間違えておりました。
ここでは、"reference_data.csv"を参照したいです。
なので、おそらくstored_data = ref_df[ref_df.itemtype == "button"]になるかと思います。

[meg_]

やりたいことがよく分からないので、欲しい結果(original_data.csv)を質問に追記していただけますか？

[docghoge]

はい、
やりたいこと
1. original_data.csvからitemtypeを抽出する
2.1.で抽出したitemtypeをreference_data.csv内で検索し、該当がある場合は、reference_data.csvのfunctionをoriginal_data.csvに挿入。
例）itemtypeが"button"の場合、abcを実行,xyzを実行,123を実行がoriginal_data.csvの"button"の行に新たに追加されるイメージです

[meg_]

最終出力のoriginal_data.csvのデータを質問に追記いただけいでしょうか？

[docghoge]

最終出力のoriginal_data.csvは、1.と同じファイルです。
なので、outputという行が追加されて,abcを,xyzを実行,123を実行がそれぞれのbuttonに追加される想定です。
screen,function,itemtype,output
xyz画面,画面にリダイレクト,link
abc画面,画面に遷移,button,abcを実行,xyzを実行,123を実行
123画面,画面に遷移,button,abcを実行,xyzを実行,123を実行

[meg_]

> original_data.csvの"button"の行に新たに追加されるイメージです

そのイメージが分からないのでデータフレームの形で追記いただきたいです。

質問は編集できますので、お手数ですが質問に追記いただけませんか？
こちらですと見にくいですし、他の回答者から見えにくいです。

[docghoge]

meg_さん
すみません、追記させていただきました。

Answer 1

pandasについて、基本部分からもう少し勉強することをお勧めします。
(チュートリアル、入門のサイトは検索すればいろいろ見つかります)

buttonについてだけ処理するならこんな感じです。

import pandas as pd

df = pd.read_csv("original_data.csv")
ref_df = pd.read_csv("reference_data.csv")

#reference_dataからitemtypeがbuttonのものを抽出
stored_data = ref_df[ref_df['itemtype'] == 'button']

#抽出したfunction列を','で結合して、dfのitemtypeがbuttonの行のoutput列に挿入
df.loc[df['itemtype'] == 'button', 'output'] = ','.join(stored_data['function'])

# csvに出力
df.to_csv("original_data.csv", index=False)

全itemtypeについてまとめて処理したいならmergeやjoinを使うことになります。

ref_s = ref_df.groupby('itemtype')['function'].agg(','.join)
df = df.join(ref_s.rename('output'), on='itemtype')

上の文で、ref_dfのitemtypeで複数行あるものをひとつにまとめて、
下の文で、itemtypeをキーにしてdfと結合しています。

Comments

[docghoge]

ご回答ありがとうございます。
ご教授いただいた方法で解決いたしました。

dataframeについては、もっと勉強させていただきます。