前提・実現したいこと
Pysparkでリストの要素を値にもったカラムの追加をしたい
該当のソースコード
python
1from pyspark.sql import SparkSession 2spark = SparkSession.builder.getOrCreate() 3index = ['row_0', 'row_1', 'row_2'] 4df = spark.createDataFrame(index_list, StringType()).toDF('index')
dfに以下のカラムを追加したい
python
1number = ['123','234', '789']
が、
python
1df = df.withColumn('it_code', number)
だとAssertionError: col should be Columnになるが、どう書けばいいのか分からない
pandasでいうところの
df['number] = number
を行いたい
あなたの回答
tips
プレビュー