どんな特殊文字があるのか、特定したい

Question

【前提】
・扱うのは、10万行,237列のデータのデータフレーム
・すべての特殊文字は、少なくとも、"-" or "*"（アスタリスク）が含まれていることがわかっている

下記のコードで、「どのコラムのデータで上記の記号が含まれているのか？」は特定できました。

col_list = []
# See the columns with "-" or "*" character inside of each datapoint
for col in df.columns:
    if df[col].dtype == object:
        if (df[col].str.contains("-")).any() == True:
            col_list.append(col)
        elif(df[col].str.contains("*")).any() == True:
            col_list.append(col)
    else:
        continue

しかしその後の、「どんな特殊文字があるのか？」を特定するコードがわからず、今苦戦しています。

一応下記に、なぜこの疑問を解決したいのか？の背景を説明いたします。

【背景】
「最終目標」
データフレームの中に存在するすべての特殊文字を削除したい

「目標達成するためのステップ」
・どんな特殊文字があるのかを特定
・その特殊文字ごとにfor文を作り、「"□"」(シングルスペース)に入れ替える
・スペースを埋める

今回の質問は、上記のステップ１を解決したい、というものです。

めんどくさい質問で恐縮ですが、ご教授のほど、よろしくお願いいたします。

----------------------追加--------------------------------------------
理論上、以下のコードでできると考えましたが、これでは時間がかかりすぎると思いました。

special_character_list = []

for col in  col_list_special:
    for i in range(len(df[col.index])):
        if df[col][i].str.contain("-") or df[col][i].str.contain("*"):
            special_character_list.append(df[col][i])
special_character_list = set(special_character_list)

Comments

[y_waiwai]

あなたのいう特殊文字というのはいったいなんですか？

[shin_shin]

"* 10:00"の”*”だったり、”- 0.1”の”-”とかのSpecial Characterを意図しています。

[y_waiwai]

いや、具体的に。それだけだと”はどっち？’？’はどっち？とキリがないですがなｗ

[y_waiwai]

そんなふわっとした定義では答えようないです

[shin_shin]

たくさん種類があって、目視ではすべて特定できなかったです。ですが、special characeterのすべてに、"*"or"-"が必ず一つは含まれています。

[y_waiwai]

んじゃ質問を変えましょう。なぜその「特殊文字」を特定する必要があるのですか？

[shin_shin]

特殊文字をすべて特定できたら、特殊文字が含まれた値を、一つ一つのを適切な値に置き換えるためです。

[shin_shin]

このような感じに置き換えるためです。for col in col_list: df[col] = df[col].replace('- 20:00', "20:00")

[mkgrei]

日本語は含まれますか？アルファベットと数字以外を全部記号として扱って良いですか？

[mkgrei]

コロンは特殊文字ではないのですね…

[mkgrei]

「特殊文字」を列挙できるのであれば、reとapplymapを使うのがはやいです。

[shin_shin]

日本語は含まれません。数字以外をすべて記号として扱ってください。

[shin_shin]

最終的に、すべてのデータをfloat64型に変更します。

Answer 1

特殊文字は何たるかなんてことを悩む必要があるのでしょうか。質問を読む限り、「数字以外削除」で事足りるように思えますが。

new_df = df.applymap(lambda x: re.sub("\D", "", x))

Answer 2

こんな感じにするといいのではないでしょうか。

import string
del_list = string.ascii_letters + string.punctuation

for i in del_list :
    for j in df.columns :
        df[j] = b[j].str.replace(i,'')

string.ascii_lettersは英文字、astring.punctuationは*や@などの一覧を出力してくれるので、連結したものをdel_listとして定義します。
質問に記載しているコードだと、行数×列数分for文による繰り返しが必要で処理時間がムダな気がするので、Seriesデータに対して一括して処理するようにしています。これだとチェックする文字数×列数なので少しは早く処理できると思います。

Comments

[shin_shin]

助かりました。ありがとうございます！

Answer 3

ついでに数字以外の集合も…
データが多いと遅いかも。

from io import StringIO
import re
import numpy as np
import pandas as pd

data = StringIO('''
id,content,date
1,-: 54:00, 2/4
2,* 444, 4/4
''')

df = pd.read_csv(data)
f = re.compile('[^0-9]')
ff = lambda s: f.sub('', str(s))
fff = lambda s: f.findall(str(s))

ans = df.applymap(ff)
other = set(np.sum(df.applymap(fff).values.ravel()))

print(df)
print(ans)
print(other)

Answer 4

三カ所変えました。

hyphen_list = []
asterisk_list = []
# See the columns with "-" or "*" character inside of each datapoint
for col in df.columns:
    if df[col].dtype == object:
        if (df[col].str.contains("-")).any() == True:
            hyphen_list.append(col)
        elif(df[col].str.contains("*")).any() == True:
            asterisk_list.append(col)
    else:
        continue