Linux環境のDjangoで日本語を含むファイル名の扱いについて

Question

環境情報

• OS:CentOS 7.7(64bit)
• Python:3.6.8 (yumでインストール)
• Django:2.2.7
• mod_wsgi:4.6.8

発生した現象

csvファイルを保存する処理を実行するコードをメイン関数でCUIから実行した場合は、日本語を含むファイル名でも保存できるが、同じ処理をDjangoから呼び出した場合、ファイルのopen関数でasciiで扱えないコードが入っているというエラーが発生する。
Print文ではエラーにならず、今のところOpen関数だけで確認している現象。
Windows環境ではDjangoでもエラーにならない。

コード

    def saveCsv(self, key_word) :
        filename=os.path.join(self.output_path, 'csv')
        with open(filename, 'w', encoding='SJIS') as fp:
            fp.write('検索キーワード:{}\n'.format(key_word))
            for word_1 in self.getList(key_word):
                fp.write('・{}\n'.format(word_1))
                for word_2 in self.getList(key_word + word_1):
                    fp.write(',{}\n'.format(word_2))

エラーが発生するのはopen関数。※write関数ではない。
ファイル名に日本語が含まれているときだけエラーになる。(asciiしか使えなくなってる)
ファイルの先頭に「# -- coding: utf-8 --」をつけても変化しない。
setting.pyのDEFAULT_CHARSETを指定しても変化しない。(そもそもデフォルトはUTF8)

考察

理由は不明だが、Linux環境でDjangoを使うとどこかでシステム的なアクセスにasciiのみしか使えなくなる制限がかかる様子。
ただ、CUIで呼び出しても再現しないので、mod_wsgiの問題かもしれない。
ファイルの書き込みはSJISを指定して書き込んでおり、それについては日本語が含まれていても問題なく書き込めるので、文字コードが扱えないわけではない。

知りたいこと

回避方法があれば教えてほしいです。

エラーメッセージ(追記)

Internal Server Error: /create_csvfile, referer: http://testhost/result
Traceback (most recent call last):, referer: http://testhost/result
  File "/python/venv/lib/python3.6/site-packages/django/core/handlers/exception.py", line 34, in inner, referer: http://testhost/result
    response = get_response(request), referer: http://testhost/result
  File "/python/venv/lib/python3.6/site-packages/django/core/handlers/base.py", line 115, in _get_response, referer: http://testhost/result
    response = self.process_exception_by_middleware(e, request), referer: http://testhost/result
  File "/python/venv/lib/python3.6/site-packages/django/core/handlers/base.py", line 113, in _get_response, referer: http://testhost/result
    response = wrapped_callback(request, *callback_args, **callback_kwargs), referer: http://testhost/result
  File "/python/venv/lib/python3.6/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_view, referer: http://testhost/result
    return view_func(*args, **kwargs), referer: http://testhost/result
  File "/my_app/main/views.py", line 29, in create_csvfile, referer: http://testhost/result
    google_maping_obj.saveCsv(keyword), referer: http://testhost/result
  File "/my_app/scraping/get_csvfile.py", line 56, in saveCsv, referer: http://testhost/result
    with open(filename, 'w', encoding='SJIS') as fp:, referer: http://testhost/result
UnicodeEncodeError: 'ascii' codec can't encode characters in position 69-76: ordinal not in range(128), referer: http://testhost/result
, referer: http://testhost/result

Comments

[cateye]

コードの問題かどうか分かりませんが。以下の文字は含まれていませんよね？
→ https://sites.google.com/site/fudist/Home/grep/sjis-damemoji-jp/table
・・・Linuxで、“書き込みはSJIS”とは・・・

[mackerel6.023]

含まれていないですね。
asciiのみしか使えなくなってることが問題のようですので。

作ったcsvをダウンロードしてExcelで開く要件があるので、中身はSJISで作っています。
・・・今回の質問には直接関係はありませんが。

[dodox86]

> open関数でasciiで扱えないコードが入っているというエラー
具体的に、どのような文字列でどこに出力されていますか。また、CUIで動作させるときとmod_wsgiで動作させるときのPythonインタープリターは、まったく同一のものでしょうか。

[dodox86]

[回答のコメント欄に移動したため、削除しました]

Answer 1

※再現できる環境がない為、推測での回答となります。

Linuxのファイルシステム上のファイル名は単なるバイナリ列で、ターミナル上でファイル名を表示する際は、ターミナルの文字コードに合わせて表示されているに過ぎません。今どきのLinuxディストリビューションは環境変数LANGがja_JP.UTF-8にセットされていることがほとんどだと思いますが、バイナリ列でファイル名が保存されるときにもUTF-8前提でファイルシステムに保存されているはずです。Djangoの稼動時にそのDjangoサーバーが動いている環境で環境変数LANGに値がセットされていないと、UTF-8の日本語ファイル名が正しく処理できないのかもしれません。openの実行の前に環境変数LANGをセットすると状況が変わるかもしれませんので、試してみてください。尚、CUIで実行したときにはOKだということですので、その環境でecho $LANGと実行し、LANG環境変数の値をあらかじめ確認してください。

# 無理やりセットしてみる。
os.environ["LANG"]="ja_JP.UTF-8"

with open(filename, 'w', encoding='SJIS') as fp:
...色々

Comments

[mackerel6.023]

ご回答ありがとうございます。

すみません、書き漏れていましたが、それは試しました。
ですが、変化なしでした。

[dodox86]

そうですか。回答を早まったようです。ちなみに発生するエラーとは、具体的にどのようなものなのでしょう。質問文中に追記してください。

[dodox86]

こちらはQiitaでの記事ですが、関係していませんでしょうか。UnicodeEncodeError: 'ascii' codec ...あたりのエラー文字列は同じようです。
[mod_wsgiで動かす時に、UnicodeDecodeErrorが出てしまう]https://qiita.com/kanjirz50/items/81104b60049ad7140b30

[mackerel6.023]

ありがとうございます。
正解でした。とても勉強になりました。
ちなみにCentOSでは「/etc/sysconfig/httpd」に書かれていますね。