Spark のdataframeとして、あるcvsファイルを読み込みました。
python
1!pip install wget 2!apt-get install openjdk-8-jdk-headless -qq > /dev/null 3!wget -q https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz 4!tar xf spark-2.4.0-bin-hadoop2.7.tgz 5!pip install -q findspark 6import os 7os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64" 8os.environ["SPARK_HOME"] = "/content/spark-2.4.0-bin-hadoop2.7" 9 10import findspark 11findspark.init() 12from pyspark.sql import SparkSession 13 14import wget 15link_to_data = 'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/bank.csv' 16DataSet = wget.download(link_to_data) 17 18!ls 19 20spark = SparkSession.builder.appName('ml-bank').getOrCreate() 21df = spark.read.csv('bank.csv', header = True, inferSchema = True) 22df.printSchema() 23df.show(5) 24 25df2 = df.select('age', 'job', 'marital', 'education', 'default', 'balance', 'housing', 'loan', 'campaign', 'pdays', 'previous', 'poutcome', 'deposit').show() 26 27
このコードのdf2によって下の表が出力されました。
この表には”age”、”job”などの13個の項目がありますがこの項目すべてをOne hot encodingしたいと考えているのですが、
その方法がよくわかりません。
どなたか分かる方いらっしゃいましたらよろしくお願いいたします。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。