文字で入力されている数値を降順でソートしたい

Question

やりたきこと

1. 「年収」が◯万円、◯億円、◯億◯万円というようにテキストで入力されたものを「年収」数値順にソートしたい。
2. 「年」が19年のように二桁のテキストで入力されているものを、2019年のように４桁にした上で「年」順にソートしたい

データ

課題

数値ではなく、文字で入力されているため、年収カラムによるデータのソートが出来ない。

使用言語

Python + Jupyter Notebook + Pandas

欲しいアウトプット

上の形に出来るのが理想ですが、もし難しければ下でも大丈夫です。

2

Comments

[coco_bauer]

億とか万とかで区切って、いったん2つ目の表のような数値に直し、ソート後に数値を億万の入った文字列に戻すのが順当な方法だと思います。
で、何ができなくて問題が解決しないのですか？

[Ponta2929]

割り算などで数値を治す方法は分かったのですが、テキストの単位で、かつ、様々なパターンがある場合にどう数値に直す、文字列に戻すのかが分かりません。

初心者でごめんなさい...

[magichan]

間違ってこちらに回答を投稿してしまった・・
ということで削除しましたので、気にしないでください

Answer 1

evalで手抜きした例です。

import pandas as pd
from io import StringIO

def to_num(s):
    s = s.replace('円','')
    s = s.replace('万','*10000+')
    s = s.replace('億','*100000000+')
    if s[-1] == '+':
        s += '0'
    return eval(s) # 手抜き

def to_year(s):
    return 2000 + int(s.replace('年',''))

# サンプルデータ
s = """name,price,year
a,123円,17年
b,123万円,18年
c,123億円,19年
d,12億3400万円,20年"""
df = pd.read_csv(StringIO(s))
print(df)

df['price'] = df['price'].apply(to_num)
df['year'] = df['year'].apply(to_year)
df = df.sort_values('price', ascending=False)

print(df)
#  name        price  year
#2    c  12300000000  2019
#3    d   1234000000  2020
#1    b      1230000  2018
#0    a          123  2017

Answer 2

正規表現 (DataFrame.str.extract())などを使って、数値を切り出して再計算すると良いかと思います。

import pandas as pd

df = pd.DataFrame([
    ['武','3000万円', '19年'],
    ['隆','1億円', '18年'],
    ['良太郎','200万円', '20年'],
    ['弘','20億円', '18年'],
    ['花子','１億2000万円', '19年'],
    ['将兵','9000万1000円', '16年'],
], columns=['名前','年収','年'])

tmp = df['年収'].str.extract(r'(?:(?P<億>\d+)億)?(?:(?P<万>\d+)万)?(?P<円>\d+)?円').fillna(0).astype(int)
df['年収'] = tmp['億'] * 100000000 + tmp['万'] * 10000 + tmp['円']
print(df)
#   名前          年収    年
#0    武    30000000  19年
#1    隆   100000000  18年
#2  良太郎     2000000  20年
#3    弘  2000000000  18年
#4   花子   120000000  19年
#5   将兵    90001000  16年

---

【追記】
"年"列の変換も追加したサンプル

import pandas as pd

df = pd.DataFrame([
    ['武','3000万円', '19年'],
    ['隆','1億円', '18年'],
    ['良太郎','200万円', '20年'],
    ['弘','20億円', '18年'],
    ['花子','１億2000万円', '19年'],
    ['将兵','9000万1000円', '16年'],
], columns=['名前','年収','年'])

tmp = df['年収'].str.extract(r'(?:(?P<億>\d+)億)?(?:(?P<万>\d+)万)?(?P<円>\d+)?円').fillna(0).astype(int)
df['年収'] = tmp['億'] * 100000000 + tmp['万'] * 10000 + tmp['円']
df['年'] = df['年'].str.extract(r'(\d+)年').astype(int) * 100
print(df)
#    名前          年収     年
#0    武    30000000  1900
#1    隆   100000000  1800
#2  良太郎     2000000  2000
#3    弘  2000000000  1800
#4   花子   120000000  1900
#5   将兵    90001000  1600

Comments

[magichan]

年の変換はすっかり見落としてました。。。
こちらも正規表現を使って
df['年'] = df['年'].str.extract(r'(\d+)年').astype(int) * 100
で良いかと思います。

[Ponta2929]

年収は出来ました！ありがとうございます。
毎回素晴らしい回答を頂きありがとうぎざます。

年については、こちらでやってみると
'int' object has no attribute 'str'
というエラーが出て出来なさそうでした。

[magichan]

あれ？なんでだろ
一応、年の変換部も加えた動作サンプルを回答に追記しておきましたのでご確認ください。

元の"年"列は文字列が格納された列なので .str attribute は存在するはずですし、そもそも 'int' objectではないので
'int' object has no attribute 'str'
となるはずはないのですが。

Answer 3

年の部分は簡単ですね、年の文字を消して2000を足すだけです
(ただ、良太郎の変換が間違っているようですが…？)

年収はたくさんのパターンがあるように見えますが、実は3通りしかありません
「a億」「a億b万」「b万」

３通りしかないので、どのパターンに一致するのかを場合分けして、
それぞれの場合に応じて変換していけばいいと思います