質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.03%

  • Python 3.x

    4080questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python3 データフレームの文字列をif文で値に変更する

解決済

回答 3

投稿

  • 評価
  • クリップ 1
  • VIEW 290

yuyu127

score 10

前提・実現したいこと

UCI Machine Learingのサンプルデータ「Adult Data Set」データの前処理をしています。
(https://archive.ics.uci.edu/ml/datasets/adult)
データをデータフレームにして、目的変数「income_class」の値を
「<=50K」であれば「0」、「>50K」であれば「1」にしたいのですが
うまくいきません。
どこか間違っているかご教示ください。

発生している問題・エラーメッセージ

データフレームの値を見て、if文で値に変換する関数を定義し、
applyでデータフレームに適用したのですが、うまく読めず、全て
例外(else:)として処理されます。

該当のソースコード

データ読み込み

df = pd.read_csv('adult.data', sep=',',header = None)

列名の変更

df.columns = ['age','workclass','fnlwgt','education','education-num','marital-status','occupation','relationship','race','sex','capital-gain','capital-loss','hours-per-week','native-country','income_class']

目的変数の取り出し

adults_target = df.income_class

目的変数をデータフレーム化

adults_target = DataFrame(adults_target)

def incom(a):
'''文字を受け取って、値を返す'''
if a == '<=50K':
return 0
else:
return 1

adults_target['income_class'] = adults_target['income_class'].apply(incom)

補足情報(言語/FW/ツール等のバージョンなど)

言語はpython3です。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+3

質問のコードが動作しない原因ですが、使用しているCSVデータ(
https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data
) の形式が

39, State-gov, 77516, Bachelors, 13, Never-married, Adm-clerical, Not-in-family, White, Male, 2174, 0, 40, United-States, <=50K

のように データとデータの間のセパレータが ", " とスペースが挿入されているのが原因と考えられます。
その結果、今回使用するデータである income_class Column の値は ' <=50K' or ' >50K' と頭にスペースが挿入された文字列になっている為、条件文がマッチしません。

一方 wakumeさんの方法は、 read_csv() の引数に  delimiter=r"\s+" が追加されており、"1つ以上のスペース文字" を セパレータにしているため、[income_class] Column の値が '<=50K' or '>50K' となり、条件文がうまく動作します。

ただこの方法では、他のデータの語尾に , が挿入されることになります。
その為、本来数値型で読み込む必用がある "[arg]" Column などの値が全て文字列型になってしまいますので個人的にはお勧めしません。

ちなみに、リンク先のページでは、こちらのデータを使用しているようで、そもそも, が削除されたデータ形式となっておりますので、この形式のデータを使用しているのであれば、問題はありません。

ということで、今回は素直に delimiter=", " を使って
df = pd.read_csv("adult.data", header=None, delimiter=r", ", engine='python')
としてデータを読み込むのが良いのではないでしょうか

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/11/13 22:56

    magichanさん
    詳細にありがとうございました。無事に解決できました。
    大変助かりました。

    キャンセル

+3

対応方法と原因はすでに回答あるとおりですが、skipinitialspaceTrueを指定することで、区切り文字に続く空白を除いて読み込むことができます。
参考:Pythonでコンマの後に空白があるcsvを読むときは注意

df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data', sep=',',header = None, skipinitialspace=True)
df.iloc[:,14] = df.iloc[:,14].map({"<=50K": 0, ">50K": 1})
print(df.iloc[:,14].head(10))

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/11/13 22:54

    can110さん
    ありがとうございました。空白が入っていたとのこで、skipinitialspaceで無事に解決できました。

    キャンセル

+2

import pandas as pd
from pprint import pprint

df = pd.read_csv("adult.data", header=None, delimiter=r"\s+", )
df.columns = ['age', 'workclass', 'fnlwgt', 'education', 'education-num',
                  'marital-status', 'occupation', 'relationship', 'race',
                  'sex', 'capital-gain', 'capital-loss', 'hours-per-week',
                  'native-country', 'income_class']

df["income_class"] = df["income_class"].map({"<=50K": 0, ">50K": 1})
pprint(df["income_class"].head(10))
"""
0    0
1    0
2    0
3    0
4    0
5    0
6    0
7    1
8    1
9    1
Name: income_class, dtype: int64

"""

Analysis of the Adult data set from UCI Machine Learning Repository

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/11/13 09:31

    wakameさん ご回答ありがとうございました。
    やりたいことができました。

    私の定義した関数のif文がおかしかったのでしょうか。

    キャンセル

  • 2017/11/13 18:08

    ポイントはif文ではなく、
    df = pd.read_csv("adult.data", header=None, delimiter=r"\s+", )
    だったようです。
    magichanさんの回答が的確で、can110さんの方法が汎用性が高く最善に思えます。

    キャンセル

  • 2017/11/13 22:57

    mkgreiさん
    コメントありがとうございました。大変参考になりました。
    おかげさまで解決でき、理解も深まりました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 91.03%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    4080questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。