Python 数字に「,（カンマ）」をつける方法、及び小数点の扱い方について

Question

前提・実現したいこと

日付と数字が混在する表の、数字部分だけに、3桁ごとに仕切りをつける「,（カンマ）」、あるいは小数点の何桁かで四捨五入をするようにしたいです。

困っていること、及び該当のソースコード

ベースとなるのは、以下のようなCSVから読み込んだものを、pd.read_sql_queryを使用してDataFrameに格納したものです。

これに対して、以下のようにして書式を適用して「,（カンマ）」を付けようとしたのですが、

df.applymap('{:,}'.format) 

以下のようなエラーが発生してしまいました。

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-15-4735cd74c36b> in <module>()
----> 1 df.applymap('{:,}'.format)

/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in applymap(self, func)
   5066             return lib.map_infer(x.asobject, func)
   5067 
-> 5068         return self.apply(infer)
   5069 
   5070     # ----------------------------------------------------------------------

/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in apply(self, func, axis, broadcast, raw, reduce, args, **kwds)
   4875                         f, axis,
   4876                         reduce=reduce,
-> 4877                         ignore_failures=ignore_failures)
   4878             else:
   4879                 return self._apply_broadcast(f, axis)

/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in _apply_standard(self, func, axis, ignore_failures, reduce)
   4971             try:
   4972                 for i, v in enumerate(series_gen):
-> 4973                     results[i] = func(v)
   4974                     keys.append(v.name)
   4975             except Exception as e:

/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in infer(x)
   5064             if x.empty:
   5065                 return lib.map_infer(x, func)
-> 5066             return lib.map_infer(x.asobject, func)
   5067 
   5068         return self.apply(infer)

pandas/_libs/src/inference.pyx in pandas._libs.lib.map_infer()

ValueError: ("Cannot specify ',' with 's'.", 'occurred at index date')

これを、たとえば
・date以外の数字には3桁ごとに仕切りをつける「,（カンマ）」つけて小数点は非表示
・ただし、histは小数点第3位を四捨五入（小数点第2位まで表示）
とするにはどのような方法がありますでしょうか？

小数点もformatで同様にできると思うのですが、場合分けで適用するやり方が分からず、困ってしまいました。アドバイスいただけると助かります。よろしくお願いします。

Comments

[siruku6]

まずは、発生したエラー内容詳細を掲載いただけないでしょうか？
恐らく、日付の列があるのでそこは少なくともエラーになりそうだとは思っているのですが....

他にも必要な情報は色々あると思いますが、最低限エラーがないと他の皆さんも回答しにくいと思います

[qsuke]

ご指摘ありがとうございます。
まだあまり勝手が分かっていないものでして、ご指摘いただけて助かりました。

ひとまず、発生したエラーを記載してみました。ご確認のほどよろしくお願いします。

[siruku6]

予想通りでした。
もしかしたら解決できそうなので少々お待ちを、、、その間にほかの方が回答してしまうかもですがw

Answer 1

• df.select_dtypes(include=float)でfloat列のみ抽出
• histとそれ以外に対して適切にformat

でよいかと思います。
なお、format適用後、値は数値ではなくobject型になることにご注意ください。

import pandas as pd

# テストデータ
df = pd.DataFrame({'date':['2019-09-06'], 'close':[2335.0], 'hist':[-24.684088]})
df['date'] = pd.to_datetime(df['date'])

for c in df.select_dtypes(include=float).columns:
    if c == 'hist':
        df[c] = df[c].apply('{:.2f}'.format)
    else:
        df[c] = df[c].apply('{:,.0f}'.format)

print(df)
#        date  close    hist
#0 2019-09-06  2,335  -24.68

print(df.dtypes)
"""
date     datetime64[ns]
close            object
hist             object
"""

表示形式を指定

すこし面倒ですが、以下のようなコードにより、数値のまま表示形式を変えることもできます。
参考：How to display pandas DataFrame of floats using a format string for columns?

import pandas as pd

# テストデータ
df = pd.DataFrame({'date':['2019-09-06'], 'close':[2335.0], 'hist':[-24.684088]})
df['date'] = pd.to_datetime(df['date'])

formatters = {} # 列ごとの書式
for c in df.select_dtypes(include=float).columns:
    if c == 'hist':
        formatters[c] = '{:.2f}'.format
    else:
        formatters[c] = '{:,.0f}'.format

print(df.to_string(formatters=formatters))
#        date close   hist
#0 2019-09-06 2,335 -24.68

print(df.dtypes)
"""
date     datetime64[ns]
close           float64
hist            float64
"""

Comments

[qsuke]

ご丁寧に、詳細な回答をいただきありがとうございました！

Answer 2

やりたいことはdataframeを表示したときにカンマ区切りや四捨五入をした状態で表示したいと言うことかと推測しますが、dataframeの中身を改変すると、後々の処理に影響が及んでしまうのでは無いでしょうか？

表示用に値をいじるのは他の方が回答した通りになります。

Comments

[siruku6]

確かに、カンマ区切りにしてしまうともう数値としての計算処理はできなさそうでした。

カンマ区切りから元に戻す方法もあるのかもしれませんが、、、面倒ですし、どうせならカンマ区切りデータは別の変数に保存した方がよさそうですね。

Answer 3

先にとられたーと思いましたが、私のしようとしていた回答よりも詳しい上に的確な内容に見えましたので、高評価ぽちさせていただきました...
＞can110さん

※コメントに書こうとして、間違えて回答欄に書いてしまった...

恥ずかしいので私の回答も載せます

私の方法だと、どの列に対してどの操作をするかを明示する必要があります。

# hist列だけを四捨五入
df['hist'] = np.round(df['hist'], decimals=2)

# 3桁ごとのカンマ区切りにしたい列だけをカンマ区切りにする
df[['close', 'volume', 'Market-cap', 'hist']] = \
    df[['close', 'volume', 'Market-cap', 'hist']].applymap('{:,}'.format)

# 補足： \ をおくと、そこで改行できる

# 結果表示
df

Comments

[qsuke]

ご丁寧にありがとうございます！
アドバイスいただいたことで、複数、回答をいただくことができました。

siruku6さんのアドバイスについて、1つ質問させてください。
# 3桁ごとのカンマ区切りにしたい列だけをカンマ区切りにする
df[['close', 'volume', 'Market-cap']] = df[['close', 'volume', 'Market-cap']].applymap('{:,}'.format)

としたときに、

File "<ipython-input-41-029e46244393>", line 5
dfs[['close', 'volume', 'Market-cap']] =　dfs[['close', 'volume', 'Market-cap']].applymap('{:,}'.format)
　 ^
SyntaxError: invalid character in identifier

このようなエラーが出てしまいました。これはどういったことで、どうすれば解消できるのでしょうか？（ひょっとしたら、対象となるデータはたくさんあるので、変換できない形式のデータが混じっている、ということでしょうか？）

小数点のroundの方はうまくできました。ありがとうございます。

[siruku6]

無事解決できたようで何よりです！

【質問について】
SyntaxErrorは、処理中にエラーが起きたのではなくて、コードの書き方の文法が間違っているときに出るエラーです。

掲載していただいたソースコードをよく見ると、
＞dfs[['close', 'volume', 'Market-cap']] =　dfs[['close', 'volume', 'Market-cap']].applymap('{:,}'.format)
のうち、'='の後ろが全角スペースになっているように見えますので、これが原因かなと思いました。
半角スペースに変えてみましょう。

それ以外の場合は、カッコの数が合わないとか、余計なところにカンマがあるとか、変なところで改行をしているとか、そういう理由（文法上の誤り）で出てくるのが`SyntaxError`というやつです。