【python】複数行を1セルにまとめる方法

Question

以下のようなページネーションごとのデータ(dataframe)が存在し、それをidごとにまとめたdataframe2というデータを作成したいのですが何か方法ございますでしょうか？
使い慣れておらず、情報に不足ございましたらご指摘ください。

dataframe

Index	url	htag	id
0	https://hogehoge/44838	<h2 class="articleShow__contentsHeading--large" id="heading-340302">あああああああああああああ</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">いいいいいいいいい</h2>	44838
1	https://hogehoge/44838?page=2	<h2 class="articleShow__contentsHeading--large" id="heading-340302">うううううううううう</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">ええええええええええええ</h2>	44838
2	https://hogehoge/44838?page=3	<h2 class="articleShow__contentsHeading--large" id="heading-340302">おおおおおおおおおおおお</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">かかかかかかかかかかか</h2>	44838
3	https://hogehoge/44839	<h2 class="articleShow__contentsHeading--large" id="heading-340302">ききききききききききききき</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">くくくくくくくくくくくく</h2>	44839
4	https://hogehoge/44839?page=2	<h2 class="articleShow__contentsHeading--large" id="heading-340302">けけけけけけけけけけけけけけけ</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">こここここここここここここ</h2>	44839

dataframe2

Index	id	htag
0	44838	<h2 class="articleShow__contentsHeading--large" id="heading-340302">あああああああああああああ</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">いいいいいいいいい</h2><h2 class="articleShow__contentsHeading--large" id="heading-340302">うううううううううう</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">ええええええええええええ</h2><h2 class="articleShow__contentsHeading--large" id="heading-340302">おおおおおおおおおおおお</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">かかかかかかかかかかか</h2>
1	44839	<h2 class="articleShow__contentsHeading--large" id="heading-340302">ききききききききききききき</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">くくくくくくくくくくくく</h2><h2 class="articleShow__contentsHeading--large" id="heading-340302">けけけけけけけけけけけけけけけ</h2><h2 class="articleShow__contentsHeading--large" id="heading-340337">こここここここここここここ</h2>

Comments

[meg_]

まずは1つに纏めたデータフレームを作成して、その後id毎のデータフレームを作成してはどうでしょうか？

Answer 1

既に解決済みですが、pandas.core.groupby.generic.SeriesGroupBy.sum() メソッドを使う方法もあります。

import pandas as pd
import io

data = '''
url,htag,id
https://hogehoge/44838,<h2 class="articleShowcontentsHeading--large" id="heading-340302">あああああああああああああ</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">いいいいいいいいい</h2>,44838
https://hogehoge/44838?page=2,<h2 class="articleShowcontentsHeading--large" id="heading-340302">うううううううううう</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">ええええええええええええ</h2>,44838
https://hogehoge/44838?page=3,<h2 class="articleShowcontentsHeading--large" id="heading-340302">おおおおおおおおおおおお</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">かかかかかかかかかかか</h2>,44838
https://hogehoge/44839,<h2 class="articleShowcontentsHeading--large" id="heading-340302">ききききききききききききき</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">くくくくくくくくくくくく</h2>,44839
https://hogehoge/44839?page=2,<h2 class="articleShowcontentsHeading--large" id="heading-340302">けけけけけけけけけけけけけけけ</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">こここここここここここここ</h2>,44839
'''.strip()

df = pd.read_csv(io.StringIO(data))

# concatenate HTML texts
dfx = df.groupby('id')['htag'].sum().reset_index()

print(dfx.to_markdown(index=False))

id	htag
44838	<h2 class="articleShowcontentsHeading--large" id="heading-340302">あああああああああああああ</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">いいいいいいいいい</h2><h2 class="articleShowcontentsHeading--large" id="heading-340302">うううううううううう</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">ええええええええええええ</h2><h2 class="articleShowcontentsHeading--large" id="heading-340302">おおおおおおおおおおおお</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">かかかかかかかかかかか</h2>
44839	<h2 class="articleShowcontentsHeading--large" id="heading-340302">ききききききききききききき</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">くくくくくくくくくくくく</h2><h2 class="articleShowcontentsHeading--large" id="heading-340302">けけけけけけけけけけけけけけけ</h2><h2 class="articleShowcontentsHeading--large" id="heading-340337">こここここここここここここ</h2>

Answer 2

以下のように.applyで任意の区切文字.joinを指定することで文字列を連結できます。

df1 = pd.DataFrame({'id':[1,1,2], 'url':['x','y','z'], 'htag':['ab','cd', 'ef']})
df2 = df1.groupby('id')['htag'].apply(''.join).reset_index()
print(df2)
#   id  htag
#0   1  abcd
#1   2    ef

Comments

[退会済みユーザー]

なるほどです！ありがとうございます！