PySparkで列の取得と加工と追加

Question

PySparkで以下のような処理をできたらと思っています．
【処理内容】
タイムスタンプの列から文字列をとってきて，新しい列（dayとtime）に追加したいと考えています．
pythonとsparkがともに初心者のため，是非お教えいただければ幸甚です．

//#import liblaries
import pandas as pd
import numpy as np

month_f = 4
month_l = 8
time_f = 8
time_l = 12
//#大元のDataframe
df = pd.DataFrame({ 'Number' : [1, 2, 3, 4, 5, 6, 7],
                        'TimeStamp' : ["20161206185800", "20161206185800", "20161206185800", "20161207185800", "20161208185800","20161208185800","20161209185800"]})
//#TimeStamp行を取ってくる
tsArray = np.array(df.TimeStamp)

//#dayとtimeに分ける
dayArray = []
timeArray = []
for i in tsArray:
    dayArray.append(i[month_f:month_l])
    timeArray.append(i[time_f:time_l])
//#大元に追加
df["day"] = dayArray
df["time"] = timeArray

よろしくお願いいたします．

Answer 1

sc.textFile('hoge.tsv').\
  map(lambda x: x.split('\t')).\
  map(lambda x: list(x) + [x[1][4:8], x[1][8:12]])

とかでいいんじゃないでしょうか。

sc.textFile('hoge.tsv')の部分はtsvを前提にしてますが、あなたの環境でRDDを生成する処理に置きかえてもらえればいいでしょう。

あるいはお望みなのはこんな雰囲気のサンプルですか?

>>> data = sc.parallelize( zip([1, 2, 3, 4, 5, 6, 7], ["20161206185800", "20161206185800", "20161206185800", "20161207185800", "20161208185800","20161208185800","20161209185800"]))
>>> plus_day_time = data.map(lambda x: list(x) + [x[1][4:8], x[1][8:12]])
>>> plus_day_time.collect()
[[1, '20161206185800', '1206', '1858'], [2, '20161206185800', '1206', '1858'], [3, '20161206185800', '1206', '1858'], [4, '20161207185800', '1207', '1858'], [5, '20161208185800', '1208', '1858'], [6, '20161208185800', '1208', '1858'], [7, '20161209185800', '1209', '1858']]

Comments

[utoka]

お教えいただきありがとうございます。