csvファイルのテキストの特殊記号の除去

Question

CSVファイルのテキストデータの特殊記号除去

テキストデータのdf['タイトル'] df['説明文'] df['タグ']について,
それぞれ下のコードにある特殊記号を削除したいです。
そして、処理後の確認ができるように、df['タイトル2'] df['説明文2'] df['タグ2']
として出力させる方法を教えてほしいです。

import pandas as pd
df = pd.read_csv("input.csv", encoding="utf_8")

puncts = [',', '.', '"', ':', ')', '(', '-', '!', '?', '|', ';', "'", '$', '&', '/', '[', ']', '>', '%', '=', '#', '*', '+', '\', '•',  '~', '@', '£',
 '·', '_', '{', '}', '©', '^', '®', '`',  '<', '→', '°', '€', '™', '›',  '♥', '←', '×', '§', '″', '′', 'Â', '█', '½', 'à', '…', '\n', '\xa0', '\t',
 '“', '★', '”', '–', '●', 'â', '►', '−', '¢', '²', '¬', '░', '¶', '↑', '±', '¿', '▾', '═', '¦', '║', '―', '¥', '▓', '—', '‹', '─', '\u3000', '\u202f',
 '▒', '：', '¼', '⊕', '▼', '▪', '†', '■', '’', '▀', '¨', '▄', '♫', '☆', 'é', '¯', '♦', '¤', '▲', 'è', '¸', '¾', 'Ã', '⋅', '‘', '∞', '«',
 '∙', '）', '↓', '、', '│', '（', '»', '，', '♪', '╩', '╚', '³', '・', '╦', '╣', '╔', '╗', '▬', '❤', 'ï', 'Ø', '¹', '≤', '‡', '√', ]

追記

頂いた回答をもとに、次のように実行したところこのようなエラーが出ました。
position17というのは、punctsの17個目にエラーの原因があるということでしょうか？

puncts= r',|.|"|:|)|(|-|!|?|;|""|$|&|/|[|]|\>|%|=|#|*|+|\|•|~|@|£|·|_|{|}|©|^|®|`|<|→|°|€|™|›|♥|←|×|§|″|′|Â|█|½|à|…|\n|\xa0|\t|“|★|”|–|●|â|►|−|¢|²|¬|░|¶|↑|±|¿|▾|═|¦|║|―|¥|▓|—|‹|─|\u3000|\u202f|▒|：|¼|⊕|▼|▪|†|■|’|▀|¨|▄|♫|☆|é|¯|♦|¤|▲|è|¸|¾|Ã|⋅|‘|∞|«|∙|）|↓|、|│|（|»|||♪|╩|╚|³|・|╦|╣|╔|╗|▬|❤|ï|Ø|¹|≤|‡|√'

def puncts_rm(s):
    return re.sub(puncts, '', s)

(省略)

df["title2"] = df["title2"].apply(puncts_rm)
print(df["title2"])

(省略)

10 df["title2"] = df["title2"].apply(puncts_rm)
     11 print(df["title2"])

~\anaconda3\lib\site-packages\pandas\core\series.py in apply(self, func, convert_dtype, args, **kwds)
   3589             else:
   3590                 values = self.astype(object).values
-> 3591                 mapped = lib.map_infer(values, f, convert=convert_dtype)
   3592 
   3593         if len(mapped) and isinstance(mapped[0], Series):

pandas\_libs\lib.pyx in pandas._libs.lib.map_infer()

<ipython-input-84-2b440d6a84a2> in puncts_rm(s)
      1 def puncts_rm(s):
----> 2     return re.sub(puncts, '', s)
      3 
      4 def html_tags_rm(s):
      5     return re.sub(html_tags, '', s)

~\anaconda3\lib\re.py in sub(pattern, repl, string, count, flags)
    190     a callable, it's passed the Match object and must return
    191     a replacement string to be used."""
--> 192     return _compile(pattern, flags).sub(repl, string, count)
    193 
    194 def subn(pattern, repl, string, count=0, flags=0):

~\anaconda3\lib\re.py in _compile(pattern, flags)
    284     if not sre_compile.isstring(pattern):
    285         raise TypeError("first argument must be string or compiled pattern")
--> 286     p = sre_compile.compile(pattern, flags)
    287     if not (flags & DEBUG):
    288         if len(_cache) >= _MAXCACHE:

~\anaconda3\lib\sre_compile.py in compile(p, flags)
    762     if isstring(p):
    763         pattern = p
--> 764         p = sre_parse.parse(p, flags)
    765     else:
    766         pattern = None

~\anaconda3\lib\sre_parse.py in parse(str, flags, pattern)
    922 
    923     try:
--> 924         p = _parse_sub(source, pattern, flags & SRE_FLAG_VERBOSE, 0)
    925     except Verbose:
    926         # the VERBOSE flag was switched on inside the pattern.  to be

~\anaconda3\lib\sre_parse.py in _parse_sub(source, state, verbose, nested)
    418     while True:
    419         itemsappend(_parse(source, state, verbose, nested + 1,
--> 420                            not nested and not items))
    421         if not sourcematch("|"):
    422             break

~\anaconda3\lib\sre_parse.py in _parse(source, state, verbose, nested, first)
    808             sub_verbose = ((verbose or (add_flags & SRE_FLAG_VERBOSE)) and
    809                            not (del_flags & SRE_FLAG_VERBOSE))
--> 810             p = _parse_sub(source, state, sub_verbose, nested + 1)
    811             if not source.match(")"):
    812                 raise source.error("missing ), unterminated subpattern",

~\anaconda3\lib\sre_parse.py in _parse_sub(source, state, verbose, nested)
    418     while True:
    419         itemsappend(_parse(source, state, verbose, nested + 1,
--> 420                            not nested and not items))
    421         if not sourcematch("|"):
    422             break

~\anaconda3\lib\sre_parse.py in _parse(source, state, verbose, nested, first)
    643             if not item or item[0][0] is AT:
    644                 raise source.error("nothing to repeat",
--> 645                                    source.tell() - here + len(this))
    646             if item[0][0] in _REPEATCODES:
    647                 raise source.error("multiple repeat",

error: nothing to repeat at position 17

Answer 1

質問者は正規表現の知識が不足していて、自分でメタ文字となる記号をエスケープするのは大変そうなので、re.escapeを使ってコード側で自動的にエスケープし、|で接続してパターンを生成する。

import pandas as pd
import re
import io

# CSVファイルの代わりに使う文字列
txt = """
タイトル,説明文,タグ
:a::a:a::,AAA<BBB>CCC,"aaa,bbb,ccc"
'bbb(xxx)',BBB=CCC,"bbb,ccc"
ccc:,"CCC
DDD
EEE","ccc,""ddd"",eee"
"""

puncts = [',', '.', '"', ':', ')', '(', '-', '!', '?', '|', ';', "'", '$', '&', '/', '[', ']', '>', '%', '=', '#', '*', '+', '\', '•', '~', '@', '£',
          '·', '_', '{', '}', '©', '^', '®', '`', '<', '→', '°', '€', '™', '›', '♥', '←', '×', '§', '″', '′', 'Â', '█', '½', 'à', '…', '\n', '\xa0', '\t',
          '“', '★', '”', '–', '●', 'â', '►', '−', '¢', '²', '¬', '░', '¶', '↑', '±', '¿', '▾', '═', '¦', '║', '―', '¥', '▓', '—', '‹', '─', '\u3000', '\u202f',
          '▒', '：', '¼', '⊕', '▼', '▪', '†', '■', '’', '▀', '¨', '▄', '♫', '☆', 'é', '¯', '♦', '¤', '▲', 'è', '¸', '¾', 'Ã', '⋅', '‘', '∞', '«',
          '∙', '）', '↓', '、', '│', '（', '»', '，', '♪', '╩', '╚', '³', '・', '╦', '╣', '╔', '╗', '▬', '❤', 'ï', 'Ø', '¹', '≤', '‡', '√', ]

pd.set_option('display.unicode.east_asian_width', True) # 日本語混じりのdfの出力を揃える

df = pd.read_csv(io.StringIO(txt)) # ファイルから読む場合はこちらの先頭に「#」を付ける
# df = pd.read_csv("input.csv", encoding="utf_8") # ファイルから読む場合は先頭の「#」を取る

# 除去用の正規表現パターンを生成
puncts_escaped = [re.escape(p) for p in puncts]
pat = "|".join(puncts_escaped)

# 正規表現パターンを利用して除去を行ない、新たな列を生成
df['タイトル2'] = df['タイトル'].apply(lambda x: re.sub(pat, '', x))
df['説明文2'] = df['説明文'].apply(lambda x: re.sub(pat, '', x))
df['タグ2'] = df['タグ'].apply(lambda x: re.sub(pat, '', x))

# 結果を画面に表示
print(df)

     タイトル         説明文           タグ タイトル2    説明文2      タグ2
0   :a::a:a::    AAA<BBB>CCC    aaa,bbb,ccc       aaa  AAABBBCCC  aaabbbccc
1  'bbb(xxx)'        BBB=CCC        bbb,ccc    bbbxxx     BBBCCC     bbbccc
2        ccc:  CCC\nDDD\nEEE  ccc,"ddd",eee       ccc  CCCDDDEEE  cccdddeee

Answer 2

正規表現を使って置き換えればできます。

>>> import pandas as pd
>>> import re
>>> df = pd.DataFrame({'タイトル':['aaa:', 'bbb:'], '説明文':['AAA<BBB','BBB=CCC'], 'タグ':['aaa,bbb', 'bbb,ccc']})
>>>
>>> pattern = r':|,|<|='
>>>
>>> def rm(s):
...     return re.sub(pattern, '', s)
...
>>> df['タイトル2'] = df['タイトル'].apply(rm)
>>> df['説明文2'] = df['説明文'].apply(rm)
>>> df['タグ2'] = df['タグ'].apply(rm)
>>> print(df)
   タイトル      説明文       タグ タイトル2    説明文2     タグ2
0  aaa:  AAA<BBB  aaa,bbb   aaa  AAABBB  aaabbb
1  bbb:  BBB=CCC  bbb,ccc   bbb  BBBCCC  bbbccc

あとは、patternを増やしていってください。

追加の質問について

プログラムの17行目という意味だと思います。
*は特殊文字なので、エスケープしないとこのメッセージが出ます。

>>> re.sub(r'*', '', 'abc')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\shinp\anaconda3\lib\re.py", line 210, in sub
    return _compile(pattern, flags).sub(repl, string, count)
  File "C:\Users\shinp\anaconda3\lib\re.py", line 304, in _compile
    p = sre_compile.compile(pattern, flags)
  File "C:\Users\shinp\anaconda3\lib\sre_compile.py", line 764, in compile
    p = sre_parse.parse(p, flags)
  File "C:\Users\shinp\anaconda3\lib\sre_parse.py", line 948, in parse
    p = _parse_sub(source, state, flags & SRE_FLAG_VERBOSE, 0)
  File "C:\Users\shinp\anaconda3\lib\sre_parse.py", line 443, in _parse_sub
    itemsappend(_parse(source, state, verbose, nested + 1,
  File "C:\Users\shinp\anaconda3\lib\sre_parse.py", line 668, in _parse
    raise source.error("nothing to repeat",
re.error: nothing to repeat at position 0

これは、

>>> re.sub(r'*', '', 'abc')
'abc'

と修正すれば大丈夫です。
他にも、特殊文字があるのでre --- 正規表現操作のページ内で「特殊文字」で検索してよく読んでください。

Comments

[fukubaka]

回答して頂きありがとうございます。
実行したところ、新たなエラーが出ました。追記として質問欄に記載してありますので、お時間ございましたら確認お願い致します。

[fukubaka]

ありがとうございました。無事、除去することができました。