DataFrameを空白行で分割したい

Question

前提

以下のようなデータフレームを作成しました。

URL	Title	FQDN	freq
ttps://www.youtube.com/aaa	youtube動画01	ww.youtube.com	10
ttps://www.youtube.com/bbb	youtube動画02	ww.youtube.com	10
ttps://www.youtube.com/ccc	youtube動画03	ww.youtube.com	10
ttps://www.youtube.com/ddd	youtube動画04	ww.youtube.com	10
ttps://www.amazon.co.jp/aaa	amazon商品01	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/bbb	amazon商品02	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ccc	amazon商品03	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ddd	amazon商品04	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/eee	amazon商品05	ww.amazon.co.jp	5
ttps://twitter.com/aaa	twitter01	twitter.com	2
ttps://twitter.com/bbb	twitter02	twitter.com	2
ttps://note.com/aaa	note01	note.com	2
ttps://note.com/bbb	note02	note.com	2

---

データフレームにはサイトのURL、ページのタイトル、FQDN(URLの一部)、freq(FQDNの値より得られたサイトごとの頻度)を表しています。

※youtubeのfreqの値は表の省略のため異なっています。

実現したいこと

上記データフレームを以下のような形に整形したいです。

URL	Title	FQDN	freq
ttps://www.youtube.com/aaa	youtube動画01	ww.youtube.com	10
ttps://www.youtube.com/bbb	youtube動画02	ww.youtube.com	10
ttps://www.youtube.com/ccc	youtube動画03	ww.youtube.com	10
ttps://www.youtube.com/ddd	youtube動画04	ww.youtube.com	10
ttps://www.amazon.co.jp/aaa	amazon商品01	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/bbb	amazon商品02	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ccc	amazon商品03	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ddd	amazon商品04	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/eee	amazon商品05	ww.amazon.co.jp	5
ttps://twitter.com/aaa	twitter01	twitter.com	2
ttps://twitter.com/bbb	twitter02	twitter.com	2
ttps://note.com/aaa	note01	note.com	2
ttps://note.com/bbb	note02	note.com	2

---

freqの値をもとに空白の行を追加する処理を行いたいです。
また、freqの値が同じ時はFQDNが異なっているかどうかも確認して処理を行いたいです。

空白行の意図について

最終的にこのデータはCSV形式で書き出して、空白行にも意味を持たせたデータとして他のソフトに渡すことを目的としています。
ですので空白行を用いてデータフレームを整形する方法をご教授ください。
よろしくお願いいたします。

Answer 1

import pandas as pd
import io

csv_data = '''
URL,Title,FQDN,freq
ttps://www.youtube.com/aaa,youtube動画01,ww.youtube.com,10
ttps://www.youtube.com/bbb,youtube動画02,ww.youtube.com,10
ttps://www.youtube.com/ccc,youtube動画03,ww.youtube.com,10
ttps://www.youtube.com/ddd,youtube動画04,ww.youtube.com,10
ttps://www.amazon.co.jp/aaa,amazon商品01,ww.amazon.co.jp,5
ttps://www.amazon.co.jp/bbb,amazon商品02,ww.amazon.co.jp,5
ttps://www.amazon.co.jp/ccc,amazon商品03,ww.amazon.co.jp,5
ttps://www.amazon.co.jp/ddd,amazon商品04,ww.amazon.co.jp,5
ttps://www.amazon.co.jp/eee,amazon商品05,ww.amazon.co.jp,5
ttps://twitter.com/aaa,twitter01,twitter.com,2
ttps://twitter.com/bbb,twitter02,twitter.com,2
ttps://note.com/aaa,note01,note.com,2
ttps://note.com/bbb,note02,note.com,2
'''
df = pd.read_csv(io.StringIO(csv_data))

#
empty = pd.DataFrame([[''] * len(df.columns)] , columns=df.columns)
dfx = df.groupby(['FQDN', 'freq'], sort=False, group_keys=False)\
        .apply(lambda x: pd.concat([x, empty]))\
        .reset_index(drop=True)[:-1]

print(dfx)

# 
print(dfx['freq'].map(type))
0     <class 'int'>
1     <class 'int'>
2     <class 'int'>
3     <class 'int'>
4     <class 'str'>
5     <class 'int'>
6     <class 'int'>
7     <class 'int'>
8     <class 'int'>
9     <class 'int'>
10    <class 'str'>
11    <class 'int'>
12    <class 'int'>
13    <class 'str'>
14    <class 'int'>
15    <class 'int'>
Name: freq, dtype: object

URL	Title	FQDN	freq
ttps://www.youtube.com/aaa	youtube動画01	ww.youtube.com	10
ttps://www.youtube.com/bbb	youtube動画02	ww.youtube.com	10
ttps://www.youtube.com/ccc	youtube動画03	ww.youtube.com	10
ttps://www.youtube.com/ddd	youtube動画04	ww.youtube.com	10
ttps://www.amazon.co.jp/aaa	amazon商品01	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/bbb	amazon商品02	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ccc	amazon商品03	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/ddd	amazon商品04	ww.amazon.co.jp	5
ttps://www.amazon.co.jp/eee	amazon商品05	ww.amazon.co.jp	5
ttps://twitter.com/aaa	twitter01	twitter.com	2
ttps://twitter.com/bbb	twitter02	twitter.com	2
ttps://note.com/aaa	note01	note.com	2
ttps://note.com/bbb	note02	note.com	2

Answer 2

分割したい単位でgroupbyし、それぞれに空白行を追加して最後にconcatで連結すればよいです。
なお、列の型はできれば変えたくないので、以下では数値列には-1をセットしています。
また、この手法ではFQDNとfreqが同じ部分が離れた行に複数存在していた場合、それらは１つのブロックにまとまってしまうこと(以下でのfの行)だけ留意ください。

import pandas as pd

df = pd.DataFrame({'Title':list('abcdef'),'FQDN':list('zzyxxz'), 'freq':[10,10,2,2,2,10]})

dfs = []
empty = pd.DataFrame([['','',-1]], columns=df.columns) # 空白行
for g, gdf in df.groupby(['FQDN','freq'], sort=False):
    dfs.append(empty)
    dfs.append(gdf)

ret = pd.concat(dfs[1:]) # 先頭の空白行は不要
print(ret)
"""
  Title FQDN  freq
0     a    z    10
1     b    z    10
5     f    z    10
0               -1
2     c    y     2
0               -1
3     d    x     2
4     e    x     2
"""

Comments

[Angel76]

回答いただきありがとうございました。
今後の学習に役立てていきます。