pandasのPermissionError: [WinError 32]について

Question

こんにちは、最近pandas、openpyxlについて勉強をしているのですが
pandasで多次元配列を出力する際に、4次元配列だと出力できるのですが5次元にすると

PermissionError: [WinError 32] プロセスはファイルにアクセスできません。
別のプロセスが使用中です。: 'C:\Users\hoge\AppData\Local\Temp\openpyxl.pqihjvda'

というようなエラーが発生します。

for i in range(len(out_path_list)):  # 行番号を要素分取得するループ分
    excel_index.append(i + 1)

out_list = [[0 for j in range(5)] for s in range(len(out_path_list))]  # 多次元配列を作成
for i in range(len(out_list)):  
    for j in range(len(out_list[i])):  
        if j == 0:  
            out_list[i][j] = out_path_list[i]  
        if j == 1:
            out_list[i][j] = out_error_path_list[i]  
        if j == 2:
            out_list[i][j] = out_error_list[i]  
        if j == 3:
            out_list[i][j] = out_time_list[i]  
        if j == 4:
            out_list[i][j] = out_size_list[i]  


df = pd.DataFrame(out_list, index=excel_index, columns=['パス', 'エラーパス', 'エラー', 'エラー発生時間', 'サイズ'])  # エクセルのデータフレーム作成
df.to_excel(r'D:\dis_box_Tools\box_summery\summary\summary.xlsx')  # エクセルファイル作成 & データを書き出し ←ここにの保存先とエクセル名を記入

てな感じなのですがout_error_path_listをなくすと上手くいきます。
これはout_error_path_listに入っている要素がいけないのでしょうか。
pandasでエクセルに出力できない文字列があるのか、
文字数制限があるのか、

かなり詰まっているのでよろしければ教えてください。。
よろしくお願いいたします。

足りない情報ありましたら随時追加しますのでよろしくお願いいたします。

Comments

[aokikenichi]

out_error_path_list
にはどのような内容が入っているのでしょうか

[OkukawaRyoki]

個人情報なので詳しくは言えないのですが、
/123456_文字列/78_文字列/AAA_BBB/901-cccc/dddddd/23456789_eee/AZ_文字列文字列/ddd文字列文字列/12_AB_CDE/Abcde FG 12345678 AB CDEFGHIJ/Abcdefgad_dfads_1234567.abc

のような\(＼)区切りのパスが100個ほど入っております。いろいろと検証したのですがスライスで115字目までの指定では入るのですが116文字目までを選択すると入らなくなります。しかし、out_error_path_listの中身は20文字程度のものから115文字以上のものまでいろいろと入っております

[OkukawaRyoki]

追記になりますが、エラーが起きていしまう文字数目だけを引っ張ってきたのですが、['n', 'n', 'n', 'n', '\uffff', 'n', 'n', 'n', 'n', '索', '\\', '\\', '\\', '\\', '\\', '\\', '\\', 'n', '5', 'n', 'n', 'n', 'n', 'n', 'n', 'n', 'n', 'n', ' ', 'n', '1', 'n', 'n', 'n', 'n', 'n', 'n', 'セ', 'ク', 'n']

'\uffff'というようなunicodeや'\\'のようなエスケープシーケンスがありました。これが原因でしょうか？

[aqufiz]

エラーの全文を見せてもらうことは可能でしょうか

[OkukawaRyoki]

['n', 'n', 'n', 'n', '\uffff', 'n', 'n', 'n', 'n', '索', '\\', '\\', '\\', '\\', '\\', '\\', '\\', 'n', '5', 'n', 'n', 'n', 'n', 'n', 'n', 'n', 'n', 'n', ' ', 'n', '1', 'n', 'n', 'n', 'n', 'n', 'n', 'セ', 'ク', 'n']
40
Traceback (most recent call last):
File "test2.py", line 43, in <module>
df.to_excel(r'D:\dis_box_Tools\box_summery\summary\summary.xlsx') # エクセルファイル作成 & データを書き出し ←ここ にの保存先とエクセル名を記入
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pandas\core\generic.py", line 2175, in to_excel
formatter.write(
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pandas\io\formats\excel.py", line 738, in write
writer.save()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pandas\io\excel\_openpyxl.py", line 43, in save
return self.book.save(self.path)
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\workbook\workbook.py", line 392, in save
save_workbook(self, filename)
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\writer\excel.py", line 293, in save_workbook
writer.save()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\writer\excel.py", line 275, in save
self.write_data()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\writer\excel.py", line 75, in write_data
self._write_worksheets()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\writer\excel.py", line 215, in _write_worksheets
self.write_worksheet(ws)
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\writer\excel.py", line 200, in write_worksheet
writer.write()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\worksheet\_writer.py", line 358, in write
self.write_rows()
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\worksheet\_writer.py", line 124, in write_rows
self.write_row(xf, row, row_idx)
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\worksheet\_writer.py", line 146, in write_row
write_cell(xf, self.ws, cell, cell.has_style)
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\cell\_writer.py", line 93, in lxml_write_cell
el.text = value
File "src\lxml\etree.pyx", line 1024, in lxml.etree._Element.text.__set__
File "src\lxml\apihelpers.pxi", line 747, in lxml.etree._setNodeText
File "src\lxml\apihelpers.pxi", line 735, in lxml.etree._createTextNode
File "src\lxml\apihelpers.pxi", line 1540, in lxml.etree._utf8
ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
File "C:\Users\hoge\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\worksheet\_writer.py", line 32, in _openpyxl_shutdown
os.remove(path)
PermissionError: [WinError 32] プロセスはファイルにアクセスできません。別のプロセスが使用中です。: 'C:\\Users\\hoge\\AppData\\Local\\Temp\\openpyxl.ygpghcu9'

[OkukawaRyoki]

全文になります
やはりユニコードっぽいですよね

[aqufiz]

エラー文的にはユニコードかアスキーで書いてほしいって，
言ってる気がします．

Answer 1

問題となっているのは，

ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters
```の部分であると思います．
XML標準では有効な文字を次のように定義しています．

Char ::= #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

そのため，この範囲からはみ出てしまっている部分でエラーが起きています．
このエラーから派生して，”PermissionError”が起きているのだと思います．

非ASCII文字を使うときは，[こちら](https://stackoverflow.com/questions/17138088/french-and-lxml-text)に書いてあるように，変換を行う必要があるようです．

Comments

[OkukawaRyoki]

ご回答ありがとうございます。
out_error_path_listに入れる際にfor文でリストを回して入れてるのですがその際に

if '\uffff' in t:
t = t.decode('text_encoding')

のような記述をしてもエスケープできないのですがどうすればいいのでしょう
tはリストを一つずつ取得した要素です。

[aqufiz]

t = t.encode('unicode-escape')

とすればできると思います．
特定のリストの中身だけでなく，リスト全体で行ったほうが確実かもしれません．

[OkukawaRyoki]

出来ました！！ありがとうございます。リスト全体にするようにします。この度は大変お手数かけましたが丁寧にお答えいただきありがとうございます！