pysparkでscvを読み込むとNULLになってしまいます

Question

前提・実現したいこと

pysparkを使って、scvファイルを読み込み
その加工をしようとしています。

発生している問題・エラーメッセージ

スキーマ定義をしSCVファイルの読み込みを行ったところ、ファイルの中身がnullと表示されるようになってしまいました。

+----------+----------+----------+
|  column1 |  column2 |  column3 |
+----------+----------+----------+
|      null|      null|      null|         
|      null|      null|      null|
|      null|      null|      null|
|      null|      null|      null|
|      null|      null|      null|

該当のソースコード

from pyspark.sql import SparkSession
spark_session = SparkSession.builder.getOrCreate()

df_schema = StructType([
    StructField("column1", StringType(), False),
    StructField("column2", StringType(), False),
    StructField("column3", StringType(), False),
])

df = spark_session.read.csv('data_CSV/test_data.csv', schema=df_schema)

df.show(5)

試したこと

APACHE Sparkのdocumentation（http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.types.StructType）も参照しましたが、こちらの書き方で合っているようでした。

補足情報（FW/ツールのバージョンなど）

Answer 1

昔pysparkを弄っていたことがあるのですが、前に同じようなものをjsonで作成したことがあり、前に見たスクリプトと比較したところ、

from pyspark.sql.types import ArrayType, StringType, LongType, StructType, StructField

がなかったため、これが原因なように感じました。