コンマとピリオドの混在した数値の置換(Python,Pandas)

Question

前提・実現したいこと

ある数値データをエクセルファイルからデータフレームに読み込んだところ、
小数点として「1.3」などピリオドでデータ入力されているところ、
打ち間違いで「2,2」といったコンマで入力された数値が入っていました。

そこで、これを文字置換関数でピリオドに変換したいのですが、うまくいかなかったので、
対応方法を教えていただけないでしょうか？

発生している問題・エラーメッセージ

#エラーではないですが、サンプルファイルの出力は以下の通りです。
#3,3は3.3になっていますが、他のデータがNaNになってしまっています。
0    NaN
1    NaN
2    NaN
3    3.3
Name: 0, dtype: object

該当のソースコード

#Python 3.6
import pandas as pd
a = pd.DataFrame([0,1,2.2, "3,3"])
a_new = a[0].str.replace("\,", ".")
a_new

試したこと

str.replaceやreplaceを実施したが、
期待した結果は得られませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

a = pd.DataFrame([0,1,2.2, "3,3"])

こういうこと（複数型が混在した列を作る）をすると、列の型がObject型になります。strでもfloatでもないpythonオブジェクトという扱いです。
str.replaceをそのまま適用しようとしても使い物にならないので、仕方ありませんからapplyで変換します。

>>> a = pd.DataFrame([0,1,2.2, "3,3"])
>>> a[0].apply(lambda x: float(x.replace(",", ".")) if type(x) is str else float(x))
0    0.0
1    1.0
2    2.2
3    3.3
Name: 0, dtype: float64

こっちだとstr.replaceで行けますね。

>>> b = pd.DataFrame(["0","1","2.2", "3,3"])
>>> b[0].str.replace(",", ".").astype(float)
0    0.0
1    1.0
2    2.2
3    3.3
Name: 0, dtype: float64

Comments

[MagMag]

ありがとうございました！以下のコードでもうまくいきました。

import pandas as pd
a = pd.DataFrame([0,1,2.2, "3,3"],dtype="str")
a_new = a[0].str.replace(",", ".").astype(float)
a_new
a_new[1]+a_new[2] #3.2

[hayataka2049]

なるほど、確かに

Answer 2

DataFrameに投げ込む前に処理が必要だと思います。

0,1でもコンマ区切りのデータとしては正しいので、あとから変換しようにも元の構造が崩れてしまっています。

Comments

[MagMag]

ありがとうございました。

Answer 3

訂正：以下の問題もあるにはあると思いますが、質問者さんのコード上の問題はまず別のところ(maisumakunさんご指摘の点)にあるようです。問題点を把握できないまま間抜けなコメントしてしまい、失礼しました。

元の回答

","
が問題だろうと思います。単に
","
とすれば期待通りになるでしょう。

---

REPLなどから
","と打ち込むと
','
と表示されますので、これは\と,という2文字を表すことがわかります。(Python 3.6)

str.replace関数は正規表現を扱うのではなく指定された文字列をそのまま（正規表現としての解釈なしに）パターンとして用いますので","と書いてしまうと「バックスラッシュとカンマの2文字が連続している箇所をピリオドに置き換える」という意味になってしまうのです。

教訓：どんな場面でどのようにエスケープシーケンスが解釈されるかよく把握して使いましょう。

Comments

[MagMag]

ありがとうございました。ただ、”,"にしても結果は変わりませんでした。