pythonでのエラー回避の方法

Question

openpyxlを用いたプログラムを作っています。
多量のデータを読み込み、出力をする際エラーが検出されます。
エラー内容は以下の通りです。

Traceback (most recent call last):
  File "C:\Users\kkoya\OneDrive\Desktop\python 32bit\OCR_DATA.py", line 122, in <module>
    ws['D'+str(i)].value = wakati_data
  File "C:\Users\kkoya\AppData\Local\Programs\Python\Python36-32\lib\site-packages\openpyxl\cell\cell.py", line 299, in value
    self._bind_value(value)
  File "C:\Users\kkoya\AppData\Local\Programs\Python\Python36-32\lib\site-packages\openpyxl\cell\cell.py", line 196, in _bind_value
    value = self.check_string(value)
  File "C:\Users\kkoya\AppData\Local\Programs\Python\Python36-32\lib\site-packages\openpyxl\cell\cell.py", line 160, in check_string
    raise IllegalCharacterError
openpyxl.utils.exceptions.IllegalCharacterError
>>> 

さらに調べたところ　pythonでデータ書き出しの際に「openpyxl.utils.exceptions.IllegalCharacterError」が出たときの対応が出てきたのですがこのサイトに乗っているコード

import pandas as pd
import openpyxl

def illegal_char_remover(data):
    ILLEGAL_CHARACTERS_RE = re.compile(
        r'[\000-\010]|[\013-\014]|[\016-\037]|[\x00-\x1f\x7f-\x9f]|[\uffff]')
    """Remove ILLEGAL CHARACTER."""
    if isinstance(data, str):
        return ILLEGAL_CHARACTERS_RE.sub("", data)
    else:
        return data

#サーバ情報
conn = pyodbc.connect(サーバ情報)
#クエリ実行
df = pd.read_sql(クエリ情報, conn )
#IllegalCharacter除外（ここが追加分）
df = df.applymap(illegal_char_remover)

このコードがどのような働きをするのかよろしければご教授お願いいたします。

エラー内容の追記をしました。

Answer 1

例外は openpyxl の cell.py の line 155 で発生しています。

if next(ILLEGAL_CHARACTERS_RE.finditer(value), None):
    raise IllegalCharacterError

指定されている「無効な文字」が見つかったら、例外を発生させるというものです。
ILLEGAL_CHARACTERS_RE を見ると、具体的にその文字は以下のように定義されています。

ILLEGAL_CHARACTERS_RE = re.compile(r'[\000-\010]|[\013-\014]|[\016-\037]')

なので、例外が発生しないように予め置換しています。

Comments

[dkymmmmmt]

回答ありがとうございます・・！
ILLEGAL_CHARACTERS_REを用いれば他のプログラムにも応用は可能ですか？

[tiitoi]

上の解決策としてこの文字を置換するようになっているのは、あくまで openpyxl で無効が文字として、 `[\000-\010]|[\013-\014]|[\016-\037]` が定義されているからです。

「文字列から特定な文字を除く」というタスクで、上記のことは応用できます。

import re
regrex = re.compile(r'[a-c]')
string = regrex.sub("", 'abcdefg')
print(string) # defg

Answer 2

このコードがどのような働きをするのか

不正な文字、というか、正規表現「r'[\000-\010]|[\013-\014]|[\016-\037]|[\x00-\x1f\x7f-\x9f]|[\uffff]'」に合致する文字を削除しています。

Comments

[dkymmmmmt]

回答ありがとうございます。
一度エラー回避としてtry-exceptを試してみたのですが使えず・・・このエラーには対応していないのでしょうか？

[kazto]

エラーがどのようなコードで発生しているか、の情報が不足していますので、エラースタックを省略せず全てそのままで追記をお願いします。

[dkymmmmmt]

追記いたしました。
すいません、よろしくお願いいたします。

Answer 3

下記の不都合な文字を除去しています。

正規表現を読むと、
8進数で、000 - 008, 013, 014, 016 - 037
16進数で、0x00 - 0x1F, 0x7F - 0x9F,
それから、FFFF

いかがでしょうか。

Comments

[dkymmmmmt]

大変わかりやすい説明ありがとうございます・・・・！
回答ありがとうございました！