Python Dataframe内のデータで正規表現に部分一致する文字列の置き換え

Question

前提

２つのcsvの比較を行いたいです。
このcsvデータは以下の特徴があります。
①ランダムにデータの文頭文末に空白が入っている
②数値の桁数が揃っていない
例）dataframe1
1, みかん,300, 18.00
2,りんご, 100,32.50

dataframe2
1 ,みかん, 300, 18.0
2,りんご , 100, 32.5

データを比較するにあたりデータ加工を行います。
まずは①部分をそろえるため、csvを文字列で読込んだ後にデータの前後の空白を削除しました。

次に数字（データ型は文字列）の桁数をそろえるために
re.subを使用し正規表現でマッチしたした箇所を置換しようとしましたが、想定通りに動きません。また dataframe.applymap('{:.1f}'.format(***))のように記載できるかとも思いましたが、***に記載する項目が分かりませんでした。
どなたかアドバイス願えますでしょうか。

実現したいこと

加工前）
dataframe1
1, みかん,300, 18.00
2,りんご, 100,32.50

dataframe2
1 ,みかん, 300, 18.0
2,りんご , 100, 32.5

加工後）データの空白削除、桁数揃え
dataframe1
1,みかん,300,18.0
2,りんご,100,32.5

dataframe2
1,みかん,300,18.0
2,りんご,100,32.5

該当のソースコード

df1 = pd.read_csv(filepath1, header=0, dtype=str, na_filter=False)
df2 = pd.read_csv(filepath2, header=0, dtype=str, na_filter=False)
df1.reset_index(drop=True, inplace=True)
df2.reset_index(drop=True, inplace=True)
df1 = df1.applymap(str.strip) #空白削除
df2 = df2.applymap(str.strip) #空白削除

df1= df1.applymap(lambda x: re.sub(r'.[0-9]0', r'.[0-9]', x))
df2= df2.applymap(lambda x: re.sub(r'.[0-9]0', r'.[0-9]', x))

実行結果

dataframe1
1,みかん,300,18.[0-9]
2,りんご,100,32.[0-9]

dataframe2
1,みかん,300,18.0
2,りんご,100,32.5

Python初心者のため、初歩的な質問でしたら申し訳ございません。
宜しくお願い致します。

Comments

[can110]

その数字の列はあくまで文字列として処理をしたいということでしょうか？
後に数値処理をする前提であれば
「300,100」列は小数第一位を四捨五入、「18.00, 32.50」の列は小数第二位を四捨五入
と数値として端数処理をするほうが自然と思いますが。

[Elisabeth]

コメントありがとうございます。
こちらは文字列として処理をしたいと考えております。

宜しくお願い致します。

[TakaiY]

can110さんのコメントと同じですが、最終的には「２つのcsvの比較」をすることが目的なのであれば、数字文字列は数値として扱ったほうがいいのでないかと思います。
桁数を揃える = 四捨五入を意図していますか？

[Elisabeth]

TakaiY様、コメントありがとうございます。
最終的には「２つのcsvの比較」をすることですが、その過程で”前提”に記載させていただいた通り「①ランダムにデータの文頭文末に空白が入っている」のでこの空白を削除する必要があります。その際に文字列ではないと処理ができなかったため（”コード”内5行目6行目）、基本的には文字列での扱いを考えておりました。

桁数を揃える＝すべて少数第２位以下を切り落とすという意図でした。
（すべてのデータは小数点第２以下必ず0で終わっているが、dataframe1の方は小数点以下第2位までデータを持ってしまっている。dataframe2に合わせて小数点以下第１位にしたい。）

お手数おかけいたしますが、どうぞ宜しくお願い致します。

Answer 1

※ 最初の行がヘッダとは思えないので、read_csv() の header=0 を header=None に変更しています。

import pandas as pd

filepath1 = 'dataframe1.csv'
filepath2 = 'dataframe2.csv'

df1 = pd.read_csv(filepath1, header=None, dtype=str, na_filter=False)
df2 = pd.read_csv(filepath2, header=None, dtype=str, na_filter=False)

#df1.reset_index(drop=True, inplace=True)
#df2.reset_index(drop=True, inplace=True)
df1 = df1.applymap(str.strip) #空白削除
df2 = df2.applymap(str.strip) #空白削除

df1.iloc[:,-1] = df1.iloc[:,-1].astype(float).map('{:.1f}'.format)
df2.iloc[:,-1] = df2.iloc[:,-1].astype(float).map('{:.1f}'.format)

print(df1)
print(df2)

#    0       1    2     3
# 0  1  みかん  300  18.0
# 1  2  りんご  100  32.5
#
#    0       1    2     3
# 0  1  みかん  300  18.0
# 1  2  りんご  100  32.5

Comments

[Elisabeth]

melian様、コメントありがとうございます。
こちらの方法で試してみたところ、 could not convert string to float: ''のエラーが出てしまいましたので、こちら調べて対応してみようと思います。宜しくお願い致します。

[melian]

エラーメッセージからすると、CSV ファイルに空文字列('')が含まれている様です。そこを考慮すると以下の様になります。

df1.iloc[:,-1] = df1.iloc[:,-1].apply(pd.to_numeric, errors='coerce').map('{:.1f}'.format).replace('nan', '')
df2.iloc[:,-1] = df2.iloc[:,-1].apply(pd.to_numeric, errors='coerce').map('{:.1f}'.format).replace('nan', '')

Answer 2

「桁数をそろえる」という部分がうまく把握てきているか分かりませんが、あくまで文字列として正規表現でやるとしたら以下のような感じでどうでしょうか。

import pandas as pd
import re

df = pd.DataFrame(['100','300','18.00','32.50','18.0','32.5','1.000','1.234'])
df = df.applymap(lambda x: re.sub(r'(\.\d)0+', r'\1', x))
print(df)
"""
       0
0    100
1    300
2   18.0
3   32.5
4   18.0
5   32.5
6    1.0
7  1.234
"""

Comments

[Elisabeth]

can110様、コメントありがとうございます！こちらで無事解決致しました。
正規表現内、r'(\.\d)0+'は意味が分かったのですが、r'\1'の意味が理解できませんでした。
こちらどのような意味の表現となりますでしょうか。
正規表現一覧を見ましたがわからず、基本的な質問で申し訳ございません。
宜しくお願い致します。

Answer 3

re.sub()の書き方の話になりますが、第二引数に第一引数のマッチした部分を使うには　第一引数側で ()で囲み、第二引数側で\1,\2のように順に参照していくことになります。

re.sub(r'([0-9]+).([0-9])', r'\1.\2', item)

現状のコードの第二引数内、 [0-9]は正規表現でなくただの文字列として見られているわけですね

(...ちなみに、この方法だと 12.31と12.39が同じになると思うのですが大丈夫ですか？)

Comments

[Elisabeth]

mdkh様、コメントありがとうございます！

＞(...ちなみに、この方法だと 12.31と12.39が同じになると思うのですが大丈夫ですか？)
説明が不十分で申し訳ございません。
すべてのデータは小数点第２以下必ず0で終わっているため、小数点第二位以下を切り捨てても大丈夫な想定となっております（存在するデータの例として12.3と12.30など）

なお r'\1.\2'ですが、\1/.\2はどのような意味になりますでしょうか。（正規表現一覧を見て確認してみましたが、理解ができず申し訳ございません。）
宜しくお願い致します。