質問編集履歴

とりあえず原因が分かったので削除しました。

2018/11/26 04:41

投稿

kiwibird

スコア105

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,397 +1,3 @@
-# **追記その2**
-**gh640**さんが仰っていたコマンドを実行しました！ありがとうございます！
-**centOSのPython**と**Djangoのインタラクティブシェル**の実行結果です。
-## CentOS上のPython3.6.5
-### CASE **A**
-```python
->>> import os, sys, json
->>> path = 'media/movies'
->>> result = os.listdir(path)
->>> print(result)
-['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
->>> print(json.dumps(result, ensure_ascii=False))
-["テスト1", "test1.mp4", "test2.mp4", "テスト2", "テスト4", "テスト3"]
-```
-### CASE **B**
-```python
->>> import os, sys, json
->>> result = os.listdir(b'media/movies')
->>> entries = [e.decode(sys.getfilesystemencoding()) for e in result]
->>> print(entries)
-['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
->>> print(json.dumps(result, ensure_ascii=False))
-Traceback (most recent call last):
-  File "<stdin>", line 1, in <module>
-  File "/usr/lib64/python3.6/json/__init__.py", line 238, in dumps
-    **kw).encode(obj)
-  File "/usr/lib64/python3.6/json/encoder.py", line 199, in encode
-    chunks = self.iterencode(o, _one_shot=True)
-  File "/usr/lib64/python3.6/json/encoder.py", line 257, in iterencode
-    return _iterencode(o, 0)
-  File "/usr/lib64/python3.6/json/encoder.py", line 180, in default
-    o.__class__.__name__)
-TypeError: Object of type 'bytes' is not JSON serializable
-```
-## django上のPython(`py manage.py shell`)
-### CASE **A**
-```python
->>> import os, sys, json
->>> path = 'media/movies'
->>> result = os.listdir(path)
->>> print(result)
-['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
->>> print(json.dumps(result, ensure_ascii=False))
-["テスト1", "test1.mp4", "test2.mp4", "テスト2", "テスト4", "テスト3"]
-```
-### CASE **B**
-```python
->>> import os, sys, json
->>> result = os.listdir(b'media/movies')
->>> entries = [e.decode(sys.getfilesystemencoding()) for e in result]
->>> print(entries)
-['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
->>> print(json.dumps(result, ensure_ascii=False))
-Traceback (most recent call last):
-  File "<console>", line 1, in <module>
-  File "/usr/lib64/python3.6/json/__init__.py", line 238, in dumps
-    **kw).encode(obj)
-  File "/usr/lib64/python3.6/json/encoder.py", line 199, in encode
-    chunks = self.iterencode(o, _one_shot=True)
-  File "/usr/lib64/python3.6/json/encoder.py", line 257, in iterencode
-    return _iterencode(o, 0)
-  File "/usr/lib64/python3.6/json/encoder.py", line 180, in default
-    o.__class__.__name__)
-TypeError: Object of type 'bytes' is not JSON serializable
-```
-以上になります！通常の`shell`と`django上のshell`にて実行しましたが、**同じ結果**となりました。
-ついでに試しにやってみたんですが、`os.listdir('media/movies')`の結果を一つずつ`encode()`してから`deocde()`した結果も貼っておきます。
-### os上のpython3.6.5
-```python
->>> import os, sys, json
->>> result = os.listdir('media/movies')
->>> json.dumps([i.encode('utf-8').decode('utf-8') for i in result])
-'["\u30c6\u30b9\u30c81", "test1.mp4", "test2.mp4", "\u30c6\u30b9\u30c82", "\u30c6\u30b9\u30c84", "\u30c6\u30b9\u30c83"]'
-```
-### django(py manage.py shell)
-```python
->>> import os, sys, json
->>> result = os.listdir('media/movies')
->>> json.dumps([i.encode('utf-8').decode('utf-8') for i in result])
-'["\u30c6\u30b9\u30c81", "test1.mp4", "test2.mp4", "\u30c6\u30b9\u30c82", "\u30c6\u30b9\u30c84", "\u30c6\u30b9\u30c83"]'
-```
-###### シェルだと普通にエンコード出来てるのに、なぜdjnagoだとサロゲートペアが云々...
-# **追記**
-皆様、親切なご回答有り難うございます！ご指摘の通りにCentOS7の`locale`や`LANG`を確認してみました。
-また、localeが対応している文字コードについても記載しておきます。
-```bash
-[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep ja
-ja_JP
-ja_JP.eucjp
-ja_JP.ujis
-ja_JP.utf8
-japanese
-japanese.euc
-[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep c.utf8
-[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep en_US.utf8
-en_US.utf8
-```
-#### 環境変数 `LANG`
-```bash
-[kiwi@118-27-32-60 ~]$ export | grep LANG
-declare -x LANG="ja_JP.utf8"
-```
-#### `locale`コマンド
-```bash
-[kiwi@118-27-32-60 ~]$ locale
-LANG=ja_JP.utf8
-LC_CTYPE="ja_JP.utf8"
-LC_NUMERIC="ja_JP.utf8"
-LC_TIME="ja_JP.utf8"
-LC_COLLATE="ja_JP.utf8"
-LC_MONETARY="ja_JP.utf8"
-LC_MESSAGES="ja_JP.utf8"
-LC_PAPER="ja_JP.utf8"
-LC_NAME="ja_JP.utf8"
-LC_ADDRESS="ja_JP.utf8"
-LC_TELEPHONE="ja_JP.utf8"
-LC_MEASUREMENT="ja_JP.utf8"
-LC_IDENTIFICATION="ja_JP.utf8"
-LC_ALL=
-```
-となりました。ご指摘の通り、`c.utf8`や`en_US.utf8`に修正して`reboot`してみたりしましたが、サーバーが英語になるだけで相変わらず文字化けしていました...。
-#### `localectl`コマンド
-```bash
-[kiwi@118-27-32-60 ~]$ localectl status
-   System Locale: LANG=ja_JP.utf8
-       VC Keymap: jp
-      X11 Layout: jp
-```
-また、**gh640**さんのご指摘に乗っ取り、`HttpResponse(json.dumps())`でレスポンスしてみましたが、`500`エラーが返ってきます(涙
-```python
-result = os.listdir(path)
-return HttpResponse(json.dumps(result, ensure_ascii=False))
->>>
-UnicodeEncodeError at /api/get_list
-'utf-8' codec can't encode characters in position 2-10: surrogates not allowed
-Server time: 驥�, 23 11譛� 2018 19:41:05 +0900
-Exception Type: UnicodeEncodeError at /api/get_list
-Exception Value: 'utf-8' codec can't encode characters in position 2-10: surrogates not allowed
-wsgi.errors = <_io.TextIOWrapper name='<wsgi.errors>' encoding='utf-8'>
-Settings:
-DEFAULT_CHARSET = 'utf-8'
-DEFAULT_CONTENT_TYPE = 'text/html'
-LANGUAGES = [('af', 'Afrikaans'), ('ar', 'Arabic'), ('ast', 'Asturian'), ('az', 'Azerbaijani'), ('bg', 'Bulgarian'), ('be', 'Belarusian'), ('bn', 'Bengali'), ('br', 'Breton'), ('bs', 'Bosnian'), ('ca', 'Catalan'), ('cs', 'Czech'), ('cy', 'Welsh'), ('da', 'Danish'), ('de', 'German'), ('dsb', 'Lower Sorbian'), ('el', 'Greek'), ('en', 'English'), ('en-au', 'Australian English'), ('en-gb', 'British English'), ('eo', 'Esperanto'), ('es', 'Spanish'), ('es-ar', 'Argentinian Spanish'), ('es-co', 'Colombian Spanish'), ('es-mx', 'Mexican Spanish'), ('es-ni', 'Nicaraguan Spanish'), ('es-ve', 'Venezuelan Spanish'), ('et', 'Estonian'), ('eu', 'Basque'), ('fa', 'Persian'), ('fi', 'Finnish'), ('fr', 'French'), ('fy', 'Frisian'), ('ga', 'Irish'), ('gd', 'Scottish Gaelic'), ('gl', 'Galician'), ('he', 'Hebrew'), ('hi', 'Hindi'), ('hr', 'Croatian'), ('hsb', 'Upper Sorbian'), ('hu', 'Hungarian'), ('ia', 'Interlingua'), ('id', 'Indonesian'), ('io', 'Ido'), ('is', 'Icelandic'), ('it', 'Italian'), ('ja', 'Japanese'), ('ka', 'Georgian'), ('kab', 'Kabyle'), ('kk', 'Kazakh'), ('km', 'Khmer'), ('kn', 'Kannada'), ('ko', 'Korean'), ('lb', 'Luxembourgish'), ('lt', 'Lithuanian'), ('lv', 'Latvian'), ('mk', 'Macedonian'), ('ml', 'Malayalam'), ('mn', 'Mongolian'), ('mr', 'Marathi'), ('my', 'Burmese'), ('nb', 'Norwegian Bokmﾃ･l'), ('ne', 'Nepali'), ('nl', 'Dutch'), ('nn', 'Norwegian Nynorsk'), ('os', 'Ossetic'), ('pa', 'Punjabi'), ('pl', 'Polish'), ('pt', 'Portuguese'), ('pt-br', 'Brazilian Portuguese'), ('ro', 'Romanian'), ('ru', 'Russian'), ('sk', 'Slovak'), ('sl', 'Slovenian'), ('sq', 'Albanian'), ('sr', 'Serbian'), ('sr-latn', 'Serbian Latin'), ('sv', 'Swedish'), ('sw', 'Swahili'), ('ta', 'Tamil'), ('te', 'Telugu'), ('th', 'Thai'), ('tr', 'Turkish'), ('tt', 'Tatar'), ('udm', 'Udmurt'), ('uk', 'Ukrainian'), ('ur', 'Urdu'), ('vi', 'Vietnamese'), ('zh-hans', 'Simplified Chinese'), ('zh-hant', 'Traditional Chinese')]
-LANGUAGES_BIDI = ['he', 'ar', 'fa', 'ur']
-LANGUAGE_CODE = 'ja'
-LANGUAGE_COOKIE_AGE = None
-LANGUAGE_COOKIE_DOMAIN = None
-LANGUAGE_COOKIE_NAME = 'django_language'
-LANGUAGE_COOKIE_PATH = '/'
-TIME_ZONE = 'Asia/Tokyo'
-USE_I18N = True
-USE_L10N = True
-USE_THOUSAND_SEPARATOR = False
-USE_TZ = True
-```
-`'utf-8' codec can't encode characters in position 2-10: surrogates not allowed`とあるので、やはりサロゲートペア？の問題なのでしょうか？しかし、ただ`list`を返しているだけなのですが...ファイル名の文字コードがそもそもおかしいのかな、とも思い`nkf`コマンドで変換なども試してみましたが、**既にUTF-8**です...と返されて泣きました。
----
 ## 概要

追記その2を追加しました。centosのpythonシェルとdjangoのシェルでCASE A CASE Bをそれぞれ実行しました。

2018/11/26 04:41

投稿

kiwibird

スコア105

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,3 +1,203 @@
+# **追記その2**
+**gh640**さんが仰っていたコマンドを実行しました！ありがとうございます！
+**centOSのPython**と**Djangoのインタラクティブシェル**の実行結果です。
+## CentOS上のPython3.6.5
+### CASE **A**
+```python
+>>> import os, sys, json
+>>> path = 'media/movies'
+>>> result = os.listdir(path)
+>>> print(result)
+['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
+>>> print(json.dumps(result, ensure_ascii=False))
+["テスト1", "test1.mp4", "test2.mp4", "テスト2", "テスト4", "テスト3"]
+```
+### CASE **B**
+```python
+>>> import os, sys, json
+>>> result = os.listdir(b'media/movies')
+>>> entries = [e.decode(sys.getfilesystemencoding()) for e in result]
+>>> print(entries)
+['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
+>>> print(json.dumps(result, ensure_ascii=False))
+Traceback (most recent call last):
+  File "<stdin>", line 1, in <module>
+  File "/usr/lib64/python3.6/json/__init__.py", line 238, in dumps
+    **kw).encode(obj)
+  File "/usr/lib64/python3.6/json/encoder.py", line 199, in encode
+    chunks = self.iterencode(o, _one_shot=True)
+  File "/usr/lib64/python3.6/json/encoder.py", line 257, in iterencode
+    return _iterencode(o, 0)
+  File "/usr/lib64/python3.6/json/encoder.py", line 180, in default
+    o.__class__.__name__)
+TypeError: Object of type 'bytes' is not JSON serializable
+```
+## django上のPython(`py manage.py shell`)
+### CASE **A**
+```python
+>>> import os, sys, json
+>>> path = 'media/movies'
+>>> result = os.listdir(path)
+>>> print(result)
+['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
+>>> print(json.dumps(result, ensure_ascii=False))
+["テスト1", "test1.mp4", "test2.mp4", "テスト2", "テスト4", "テスト3"]
+```
+### CASE **B**
+```python
+>>> import os, sys, json
+>>> result = os.listdir(b'media/movies')
+>>> entries = [e.decode(sys.getfilesystemencoding()) for e in result]
+>>> print(entries)
+['テスト1', 'test1.mp4', 'test2.mp4', 'テスト2', 'テスト4', 'テスト3']
+>>> print(json.dumps(result, ensure_ascii=False))
+Traceback (most recent call last):
+  File "<console>", line 1, in <module>
+  File "/usr/lib64/python3.6/json/__init__.py", line 238, in dumps
+    **kw).encode(obj)
+  File "/usr/lib64/python3.6/json/encoder.py", line 199, in encode
+    chunks = self.iterencode(o, _one_shot=True)
+  File "/usr/lib64/python3.6/json/encoder.py", line 257, in iterencode
+    return _iterencode(o, 0)
+  File "/usr/lib64/python3.6/json/encoder.py", line 180, in default
+    o.__class__.__name__)
+TypeError: Object of type 'bytes' is not JSON serializable
+```
+以上になります！通常の`shell`と`django上のshell`にて実行しましたが、**同じ結果**となりました。
+ついでに試しにやってみたんですが、`os.listdir('media/movies')`の結果を一つずつ`encode()`してから`deocde()`した結果も貼っておきます。
+### os上のpython3.6.5
+```python
+>>> import os, sys, json
+>>> result = os.listdir('media/movies')
+>>> json.dumps([i.encode('utf-8').decode('utf-8') for i in result])
+'["\u30c6\u30b9\u30c81", "test1.mp4", "test2.mp4", "\u30c6\u30b9\u30c82", "\u30c6\u30b9\u30c84", "\u30c6\u30b9\u30c83"]'
+```
+### django(py manage.py shell)
+```python
+>>> import os, sys, json
+>>> result = os.listdir('media/movies')
+>>> json.dumps([i.encode('utf-8').decode('utf-8') for i in result])
+'["\u30c6\u30b9\u30c81", "test1.mp4", "test2.mp4", "\u30c6\u30b9\u30c82", "\u30c6\u30b9\u30c84", "\u30c6\u30b9\u30c83"]'
+```
+###### シェルだと普通にエンコード出来てるのに、なぜdjnagoだとサロゲートペアが云々...
 # **追記**
@@ -144,22 +344,6 @@
 wsgi.errors = <_io.TextIOWrapper name='<wsgi.errors>' encoding='utf-8'>
-wsgi.file_wrapper = ''
-wsgi.input = <mod_wsgi.Input object at 0x7f221e757c70>
-wsgi.input_terminated = True
-wsgi.multiprocess = True
-wsgi.multithread = True
-wsgi.run_once = False
-wsgi.url_scheme = 'https'
-wsgi.version = '(1, 0)'
 Settings:

修正漏れの追記

2018/11/23 16:37

投稿

kiwibird

スコア105

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -90,7 +90,7 @@
-となりました。ご指摘の通り、`C.utf8`や`en_US.utf8`
+となりました。ご指摘の通り、`c.utf8`や`en_US.utf8`に修正して`reboot`してみたりしましたが、サーバーが英語になるだけで相変わらず文字化けしていました...。

サーバー側の文字コードについての追記、追加で試したことを記載

2018/11/23 10:54

投稿

kiwibird

スコア105

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,3 +1,217 @@
+# **追記**
+皆様、親切なご回答有り難うございます！ご指摘の通りにCentOS7の`locale`や`LANG`を確認してみました。
+また、localeが対応している文字コードについても記載しておきます。
+```bash
+[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep ja
+ja_JP
+ja_JP.eucjp
+ja_JP.ujis
+ja_JP.utf8
+japanese
+japanese.euc
+[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep c.utf8
+[kiwi@118-27-32-60 ~/app/archer]$ locale -a | grep en_US.utf8
+en_US.utf8
+```
+#### 環境変数 `LANG`
+```bash
+[kiwi@118-27-32-60 ~]$ export | grep LANG
+declare -x LANG="ja_JP.utf8"
+```
+#### `locale`コマンド
+```bash
+[kiwi@118-27-32-60 ~]$ locale
+LANG=ja_JP.utf8
+LC_CTYPE="ja_JP.utf8"
+LC_NUMERIC="ja_JP.utf8"
+LC_TIME="ja_JP.utf8"
+LC_COLLATE="ja_JP.utf8"
+LC_MONETARY="ja_JP.utf8"
+LC_MESSAGES="ja_JP.utf8"
+LC_PAPER="ja_JP.utf8"
+LC_NAME="ja_JP.utf8"
+LC_ADDRESS="ja_JP.utf8"
+LC_TELEPHONE="ja_JP.utf8"
+LC_MEASUREMENT="ja_JP.utf8"
+LC_IDENTIFICATION="ja_JP.utf8"
+LC_ALL=
+```
+となりました。ご指摘の通り、`C.utf8`や`en_US.utf8`
+#### `localectl`コマンド
+```bash
+[kiwi@118-27-32-60 ~]$ localectl status
+   System Locale: LANG=ja_JP.utf8
+       VC Keymap: jp
+      X11 Layout: jp
+```
+また、**gh640**さんのご指摘に乗っ取り、`HttpResponse(json.dumps())`でレスポンスしてみましたが、`500`エラーが返ってきます(涙
+```python
+result = os.listdir(path)
+return HttpResponse(json.dumps(result, ensure_ascii=False))
+>>>
+UnicodeEncodeError at /api/get_list
+'utf-8' codec can't encode characters in position 2-10: surrogates not allowed
+Server time: 驥�, 23 11譛� 2018 19:41:05 +0900
+Exception Type: UnicodeEncodeError at /api/get_list
+Exception Value: 'utf-8' codec can't encode characters in position 2-10: surrogates not allowed
+wsgi.errors = <_io.TextIOWrapper name='<wsgi.errors>' encoding='utf-8'>
+wsgi.file_wrapper = ''
+wsgi.input = <mod_wsgi.Input object at 0x7f221e757c70>
+wsgi.input_terminated = True
+wsgi.multiprocess = True
+wsgi.multithread = True
+wsgi.run_once = False
+wsgi.url_scheme = 'https'
+wsgi.version = '(1, 0)'
+Settings:
+DEFAULT_CHARSET = 'utf-8'
+DEFAULT_CONTENT_TYPE = 'text/html'
+LANGUAGES = [('af', 'Afrikaans'), ('ar', 'Arabic'), ('ast', 'Asturian'), ('az', 'Azerbaijani'), ('bg', 'Bulgarian'), ('be', 'Belarusian'), ('bn', 'Bengali'), ('br', 'Breton'), ('bs', 'Bosnian'), ('ca', 'Catalan'), ('cs', 'Czech'), ('cy', 'Welsh'), ('da', 'Danish'), ('de', 'German'), ('dsb', 'Lower Sorbian'), ('el', 'Greek'), ('en', 'English'), ('en-au', 'Australian English'), ('en-gb', 'British English'), ('eo', 'Esperanto'), ('es', 'Spanish'), ('es-ar', 'Argentinian Spanish'), ('es-co', 'Colombian Spanish'), ('es-mx', 'Mexican Spanish'), ('es-ni', 'Nicaraguan Spanish'), ('es-ve', 'Venezuelan Spanish'), ('et', 'Estonian'), ('eu', 'Basque'), ('fa', 'Persian'), ('fi', 'Finnish'), ('fr', 'French'), ('fy', 'Frisian'), ('ga', 'Irish'), ('gd', 'Scottish Gaelic'), ('gl', 'Galician'), ('he', 'Hebrew'), ('hi', 'Hindi'), ('hr', 'Croatian'), ('hsb', 'Upper Sorbian'), ('hu', 'Hungarian'), ('ia', 'Interlingua'), ('id', 'Indonesian'), ('io', 'Ido'), ('is', 'Icelandic'), ('it', 'Italian'), ('ja', 'Japanese'), ('ka', 'Georgian'), ('kab', 'Kabyle'), ('kk', 'Kazakh'), ('km', 'Khmer'), ('kn', 'Kannada'), ('ko', 'Korean'), ('lb', 'Luxembourgish'), ('lt', 'Lithuanian'), ('lv', 'Latvian'), ('mk', 'Macedonian'), ('ml', 'Malayalam'), ('mn', 'Mongolian'), ('mr', 'Marathi'), ('my', 'Burmese'), ('nb', 'Norwegian Bokmﾃ･l'), ('ne', 'Nepali'), ('nl', 'Dutch'), ('nn', 'Norwegian Nynorsk'), ('os', 'Ossetic'), ('pa', 'Punjabi'), ('pl', 'Polish'), ('pt', 'Portuguese'), ('pt-br', 'Brazilian Portuguese'), ('ro', 'Romanian'), ('ru', 'Russian'), ('sk', 'Slovak'), ('sl', 'Slovenian'), ('sq', 'Albanian'), ('sr', 'Serbian'), ('sr-latn', 'Serbian Latin'), ('sv', 'Swedish'), ('sw', 'Swahili'), ('ta', 'Tamil'), ('te', 'Telugu'), ('th', 'Thai'), ('tr', 'Turkish'), ('tt', 'Tatar'), ('udm', 'Udmurt'), ('uk', 'Ukrainian'), ('ur', 'Urdu'), ('vi', 'Vietnamese'), ('zh-hans', 'Simplified Chinese'), ('zh-hant', 'Traditional Chinese')]
+LANGUAGES_BIDI = ['he', 'ar', 'fa', 'ur']
+LANGUAGE_CODE = 'ja'
+LANGUAGE_COOKIE_AGE = None
+LANGUAGE_COOKIE_DOMAIN = None
+LANGUAGE_COOKIE_NAME = 'django_language'
+LANGUAGE_COOKIE_PATH = '/'
+TIME_ZONE = 'Asia/Tokyo'
+USE_I18N = True
+USE_L10N = True
+USE_THOUSAND_SEPARATOR = False
+USE_TZ = True
+```
+`'utf-8' codec can't encode characters in position 2-10: surrogates not allowed`とあるので、やはりサロゲートペア？の問題なのでしょうか？しかし、ただ`list`を返しているだけなのですが...ファイル名の文字コードがそもそもおかしいのかな、とも思い`nkf`コマンドで変換なども試してみましたが、**既にUTF-8**です...と返されて泣きました。
+---
+## 概要
 POSTで指定したディレクトリ内のファイル一覧を返すAPIをDjangoで構築しています。
 どうも、日本語を含むとファイル名が全て文字化けしてしまうようです。