pyspark sdfの値埋め

Question

下のような本来連番にしたいが、間が抜けているカラムdayがあるとして（10までの連番にしたいが3,6,8,9,10が抜けている）

import pandas as pd
import numpy as np
df = pd.DataFrame({'day':['null', 1,2,4,5,7],'count':[100,4,9,12,5,10]})
	day	count
0	null	100
1	1	4
2	2	9
3	4	12
4	5	5
5	7	10

抜けているシリアル値のcount=0として埋めるにはどうしたらよいでしょうか。
（またnullを一番下に持ってきたいのですが、sort,orderByしてもうまくいかず。。）
大変初歩的な質問で恐縮ですが、よろしくお願いします。

Answer 1

数字と文字列が混在しているとDataFrameのソートはできないようです。

無理矢理やると、以下のようになります。

>>> import pandas as pd
>>>
>>> def split_df(df, column):
...     int_df = df[df[column].apply(lambda x: type(x) == int)]
...     non_int_df = df[df[column].apply(lambda x: type(x) != int)]
...     return int_df, non_int_df
...
>>> def interpolate(df, column, min_n, max_n):
...     return pd.merge(df, pd.DataFrame({column:range(min_n,max_n+1)}), on=column, how='outer').fillna(0).sort_values(column)
...
>>> df = pd.DataFrame({'day':['null', 1,2,4,5,7],'count':[100,4,9,12,5,10]})
>>>
>>> df_int, df_non_int = split_df(df, 'day')
>>> df_result = pd.concat([interpolate(df_int, 'day', 1, 10).astype(int), df_non_int])
>>> print(df_result)
    day  count
0     1      4
1     2      9
5     3      0
2     4     12
3     5      5
6     6      0
4     7     10
7     8      0
8     9      0
9    10      0
0  null    100