spark dataframe における特定の文字列を含む列の削除について

Question

Spark dataframe としてあるcsvファイルを読み込みました。
そして、そのcsvファイルについての以下の表を作成しました。

!pip install wget
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
!tar xf spark-2.4.0-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-2.4.0-bin-hadoop2.7"

import findspark
findspark.init()
from pyspark.sql import SparkSession 

import wget
link_to_data = 'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/bank.csv'
DataSet = wget.download(link_to_data)

!ls

spark = SparkSession.builder.appName('ml-bank').getOrCreate()
df = spark.read.csv('bank.csv', header = True, inferSchema = True) 
df.printSchema() 
df.show(5)

df2 = df.select('age', 'job', 'marital', 'education', 'default', 'balance', 'housing', 'loan', 'campaign', 'pdays', 'previous', 'poutcome', 'deposit').show()

上の写真の表は上のコードのdf2で定義した表なのですが、その”unknown”という文字列を一つでも持つ列を表から削除したいと考えていまして、
そのためにまずどのようにコードを書いたら、”unknown” という文字列を一つでももった列を調べることが出来るのでしょうか。

Answer 1

いったんpandasのDataFrameにするとよいかと思います。

df3 = df2.toPandas()
df4 = df3[df3 != 'unknown'].dropna(how='any',axis=1)
df4.head()
df5 = spark.createDataFrame(df4)
df5.show(5)
"""
+---+-------+-------+-------+-------+----+--------+-----+--------+-------+
|age|marital|default|balance|housing|loan|campaign|pdays|previous|deposit|
+---+-------+-------+-------+-------+----+--------+-----+--------+-------+
| 59|married|     no|   2343|    yes|  no|       1|   -1|       0|    yes|
| 56|married|     no|     45|     no|  no|       1|   -1|       0|    yes|
| 41|married|     no|   1270|    yes|  no|       1|   -1|       0|    yes|
| 55|married|     no|   2476|    yes|  no|       1|   -1|       0|    yes|
| 54|married|     no|    184|     no|  no|       2|   -1|       0|    yes|
+---+-------+-------+-------+-------+----+--------+-----+--------+-------+
only showing top 5 rows
"""

Comments

[1mzmk]

ありがとうございました。とても助かりました。