Q&A
> 大きなサイズのCSVファイル
具体的にどのくらい大きなサイズなんでしょうか
CSVインポート時の不具合を解消したいです。
現状ではAWSに配置したアプリケーションにアクセスし、CSVインポート機能を利用しようとしていますが、大きなサイズのCSVファイルをインポートするのに、
「413 Request Entity Too Large」
がスローされました。そこで、nginx.configに
「client_max_body_size」の値を設定しました。
あと一点、settings.pyに「FILE_UPLOAD_PERMISSIONS = 0o644」も追記しました。
ところが、それでもエラーになり、今度は「nginx error!」がスローされnginxのロゴ画面が表示さるようになってしまいました。
動作をいくつか確認していると、ある一定の時間(30秒くらい)でこの「nginx error!」が出力されるのがわかりました。
そこで、タイムアウトに関する設定をnginx.configに行いましたが変化ありません。
環境
インスタンスタイプ:t2.micro
ap:django
web:nginx(gunicorn)
db:PostgreSQL
nginx.conf(ファイルサイズとして3Mバイト、タイムアウトとして9999秒を設定しています※コメントに40Mとかありますが、無視してください)
# For more information on configuration, see: # * Official English Documentation: http://nginx.org/en/docs/ # * Official Russian Documentation: http://nginx.org/ru/docs/ user nginx; worker_processes auto; error_log /var/log/nginx/error.log; pid /run/nginx.pid; # Load dynamic modules. See /usr/share/doc/nginx/README.dynamic. include /usr/share/nginx/modules/*.conf; events { worker_connections 1024; } http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; sendfile on; tcp_nopush on; tcp_nodelay on; # keepalive_timeout 65; keepalive_timeout 9999; types_hash_max_size 4096; include /etc/nginx/mime.types; default_type application/octet-stream; # Load modular configuration files from the /etc/nginx/conf.d directory. # See http://nginx.org/en/docs/ngx_core_module.html#include # for more information. include /etc/nginx/conf.d/*.conf; # 約40Mバイトのファイルをインポートするとエラー(413 Request Entity Too Large)になったため(下記併せ3箇所) client_max_body_size 3M; # タイムアウトに関する設定 proxy_connect_timeout 9999; proxy_send_timeout 9999; proxy_read_timeout 9999; send_timeout 9999; client_body_timeout 9999; client_header_timeout 9999; server { # 80番ポート(HTTP)でリクエストを待機する設定 listen 80; listen [::]:80; # ElasticIPアドレスを指定 server_name xxx.xxx.xxx.xxx; # 公開するディレクトリの設定 root /usr/share/nginx/html; # 約40Mバイトのファイルをインポートするとエラー(413 Request Entity Too Large)になったため client_max_body_size 3M; # 下記は必要な場合とない場合があるが記述しておく client_body_buffer_size 3M; # Load configuration files for the default server block. include /etc/nginx/default.d/*.conf; # 静的ファイル配置ディレクトリとURLの対応付け location /static { alias /usr/share/nginx/html/static; } location / { # Host:ホスト名を転送 proxy_set_header Host $http_host; # X-Forwarded-For:送信元アドレスを転送 proxy_set_header X-Fowarded-For $proxy_add_x_forwarded_for; # X-Forwarded-Proto:URLスキーム(httpなど)を転送 proxy_set_header X-Fowrded-Proto $scheme; # 約40Mバイトのファイルをインポートするとエラー(413 Request Entity Too Large)になったため(上記併せ3箇所) client_max_body_size 3M; # URLが「/static」に該当しない場合(リバースプロキシ) proxy_pass http://127.0.0.1:8000; } error_page 404 /404.html; location = /40x.html { } error_page 500 502 503 504 /50x.html; location = /50x.html { } } # Settings for a TLS enabled server. # # server { # listen 443 ssl http2; # listen [::]:443 ssl http2; # server_name _; # root /usr/share/nginx/html; # # ssl_certificate "/etc/pki/nginx/server.crt"; # ssl_certificate_key "/etc/pki/nginx/private/server.key"; # ssl_session_cache shared:SSL:1m; # ssl_session_timeout 10m; # ssl_ciphers PROFILE=SYSTEM; # ssl_prefer_server_ciphers on; # # # Load configuration files for the default server block. # include /etc/nginx/default.d/*.conf; # # error_page 404 /404.html; # location = /40x.html { # } # # error_page 500 502 503 504 /50x.html; # location = /50x.html { # } # } }
settings.py(最終行に権限に関する設定を行いました)
from .settings_common import * # SECURITY WARNING: keep the secret key used in production secret! # settings_commonと共通 #SECRET_KEY = '*hto)tc=a23-pbhy@vmj-kpnr#of96n&jgyrqr@)e%9%c(d*nj' os.makedirs(os.path.join(BASE_DIR, 'logs'), exist_ok=True) # SECURITY WARNING: don't run with debug turned on in production! # デバッグモードを有効にするかどうか(本番運用では必ずFalseにする) DEBUG = False # 許可するホスト名のリスト ALLOWED_HOSTS = [os.environ.get('ALLOWED_HOSTS')] # 静的ファイルを配置する場所 STATIC_ROOT = '/usr/share/nginx/html/static' # ロギング LOGGING = { 'version': 1, # 1固定 'disable_existing_loggers': False, # ロガーの設定 'loggers': { # Djangoが利用するロガー 'django': { 'handlers': ['file'], 'level': 'INFO', }, # commonアプリケーションが利用するロガー 'level': 'INFO', }, # setting_worktypemasterアプリケーションが利用するロガー 'level': 'INFO', }, # setting_serialnomasterアプリケーションが利用するロガー 'setting_serialnomaster': { 'handlers': ['file'], 'level': 'INFO', }, }, # ハンドラの設定 'handlers': { 'file': { 'level': 'INFO', 'class': 'logging.handlers.TimedRotatingFileHandler', 'filename': os.path.join(BASE_DIR, 'logs/django.log'), 'formatter': 'prod', 'when': 'D', # ログローテーション(新しいファイルへの切り替え)間隔の 単位(D=日) 'interval': 1, # ログローテーション間隔(1日単位) 'backupCount': 7, # 保存しておくログファイル数 }, }, # フォーマッタの設定 'formatters': { 'prod': { 'format': '\t'.join([ '%(asctime)s', '[%(levelname)s]', '%(pathname)s(Line:%(lineno)d)', '%(message)s' ]) }, } } # エラー 413 (Request Entity Too Large)を回避するため FILE_UPLOAD_PERMISSIONS = 0o644
django.log
2020-11-17 19:52:06,922 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /nginx-logo.png 2020-11-17 19:52:06,924 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /poweredby.png 2020-11-17 19:55:16,211 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /nginx-logo.png 2020-11-17 19:55:16,213 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /poweredby.png 2020-11-17 19:58:58,605 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /nginx-logo.png 2020-11-17 19:58:58,606 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /poweredby.png 2020-11-17 20:20:07,443 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /nginx-logo.png 2020-11-17 20:20:07,464 [WARNING] /home/app_admin/venv_xxx_project/lib64/python3.7/site-packages/django/utils/log.py(Line:228) Not Found: /poweredby.png
早急に解決したいと思っております。どんなことでも構いません見落としてるポイントなどありましたらコメント頂けますでしょうか。どうかよろしくお願いいたします。
コメントありがとうございます。
当初40MバイトほどのCSVファイルを読み込んだ際に
「413 Request Entity Too Large」
がスローされたため、
nginx.confに
「client_max_body_size」の値として1000Mなど大きな値を設定しましたが、
「413 Request Entity Too Large」はスローされなくなりましたが、
質問にある通り、
「nginx. error!」のnginxのロゴが表示されるようになりました。
細かな対応としては、問題を切り分けるために
「client_max_body_size」の値を1M→2M→3Mと増やしていって
インポートするCSVファイルも設定値の上限に合わせて、動作確認を行いました。
結果としては、
「client_max_body_size」が
1Mバイト(以下バイトは省略)の設定で1MまでのCSVファイルは読み取れるが1Mを超えるCSVファイルを読み込もうとすると、
「413 Request Entity Too Large」がスローされる。
2Mの設定でも同様の結果。
3Mの設定で上限の3M以内のCSVファイルを読み込んで30秒ほどの所で
「nginx error!」がスローされnginxのロゴ画面が表示される。
具体的には約2.6Mまでなら読み込めるが約2.8M以上のファイルは
読み込みだしてから「nginx error!」がスローされる。
3Mの設定で3Mを超えるCSVファイルは
「413 Request Entity Too Large」がスローされる。
長くなりましたが、よろしくお願いいたします。
回答1件
0
自己解決
昨夜質問してからうすうす気付いていたんですが、gunicornの設定が必要です。
gunicornの起動コマンドとして
「$ gunicorn --bind 127.0.0.1:8000 プロジェクト名.wsgi -D」
でgunicornを起動していましたが、
オプションに「--timeoout」を付けることで、今回の問題は解消できそうです(これから動作確認します)。
よって、実際のコマンドとしては
「$ gunicorn --bind 127.0.0.1:8000 プロジェクト名.wsgi -D --timeout 9999」
などとすれば40Mバイトのファイルでも問題なく読み込めると思います。
デフォルトはおそらく30秒位ですね。
また、不具合ありましたら、お知らせいたします。
追記
上記の通りgunicornのタイムアウトが今回の不具合の原因でした。
gunicornの起動コマンドオプションに
「--log-level=DEBUG」を加えログを出力するようにし、CSVインポートを3件ほど行いました。
以下がターミナルの表示内容です。
前半に設定情報が表示され、後半のログ情報に「WORKER TIMEOUT」が表示されているのがわかります。
(venv_xxx_project) [app_admin@ip-172-31-36-217 xxx_project]$ gunicorn --bind 127.0.0.1:8000 xxx_project.wsgi --timeout 33 --log-level=DEBUG [2020-11-18 10:55:10 +0900] [10999] [DEBUG] Current configuration: config: None bind: ['127.0.0.1:8000'] backlog: 2048 workers: 1 worker_class: sync threads: 1 worker_connections: 1000 max_requests: 0 max_requests_jitter: 0 timeout: 33 graceful_timeout: 30 keepalive: 2 limit_request_line: 4094 limit_request_fields: 100 limit_request_field_size: 8190 reload: False reload_engine: auto reload_extra_files: [] spew: False check_config: False preload_app: False sendfile: None reuse_port: False chdir: /home/app_admin/venv_xxx_project/xxx_nippo_20201102/venv_xxx_project/xxx_project daemon: False raw_env: [] pidfile: None worker_tmp_dir: None user: 1001 group: 1001 umask: 0 initgroups: False tmp_upload_dir: None secure_scheme_headers: {'X-FORWARDED-PROTOCOL': 'ssl', 'X-FORWARDED-PROTO': 'https', 'X-FORWARDED-SSL': 'on'} forwarded_allow_ips: ['127.0.0.1'] accesslog: None disable_redirect_access_to_syslog: False access_log_format: %(h)s %(l)s %(u)s %(t)s "%(r)s" %(s)s %(b)s "%(f)s" "%(a)s" errorlog: - loglevel: DEBUG capture_output: False logger_class: gunicorn.glogging.Logger logconfig: None logconfig_dict: {} syslog_addr: udp://localhost:514 syslog: False syslog_prefix: None syslog_facility: user enable_stdio_inheritance: False statsd_host: None dogstatsd_tags: statsd_prefix: proc_name: None default_proc_name: xxx_project.wsgi pythonpath: None paste: None on_starting: <function OnStarting.on_starting at 0x7f6cc9a7cd40> on_reload: <function OnReload.on_reload at 0x7f6cc9a7ce60> when_ready: <function WhenReady.when_ready at 0x7f6cc9a7cf80> pre_fork: <function Prefork.pre_fork at 0x7f6cc9a8f0e0> post_fork: <function Postfork.post_fork at 0x7f6cc9a8f200> post_worker_init: <function PostWorkerInit.post_worker_init at 0x7f6cc9a8f320> worker_int: <function WorkerInt.worker_int at 0x7f6cc9a8f440> worker_abort: <function WorkerAbort.worker_abort at 0x7f6cc9a8f560> pre_exec: <function PreExec.pre_exec at 0x7f6cc9a8f680> pre_request: <function PreRequest.pre_request at 0x7f6cc9a8f7a0> post_request: <function PostRequest.post_request at 0x7f6cc9a8f830> child_exit: <function ChildExit.child_exit at 0x7f6cc9a8f950> worker_exit: <function WorkerExit.worker_exit at 0x7f6cc9a8fa70> nworkers_changed: <function NumWorkersChanged.nworkers_changed at 0x7f6cc9a8fb90> on_exit: <function OnExit.on_exit at 0x7f6cc9a8fcb0> proxy_protocol: False proxy_allow_ips: ['127.0.0.1'] keyfile: None certfile: None ssl_version: 2 cert_reqs: 0 ca_certs: None suppress_ragged_eofs: True do_handshake_on_connect: False ciphers: None raw_paste_global_conf: [] strip_header_spaces: False [2020-11-18 10:55:10 +0900] [10999] [INFO] Starting gunicorn 20.0.4 [2020-11-18 10:55:10 +0900] [10999] [DEBUG] Arbiter booted [2020-11-18 10:55:10 +0900] [10999] [INFO] Listening at: http://127.0.0.1:8000 (10999) [2020-11-18 10:55:10 +0900] [10999] [INFO] Using worker: sync [2020-11-18 10:55:10 +0900] [11002] [INFO] Booting worker with pid: 11002 [2020-11-18 10:55:10 +0900] [10999] [DEBUG] 1 workers [2020-11-18 10:55:33 +0900] [11002] [DEBUG] POST /working_listworkinglistimport/ [2020-11-18 10:56:07 +0900] [10999] [CRITICAL] WORKER TIMEOUT (pid:11002) [2020-11-18 10:56:07 +0900] [11002] [INFO] Worker exiting (pid: 11002) [2020-11-18 10:56:07 +0900] [11007] [INFO] Booting worker with pid: 11007 [2020-11-18 10:56:07 +0900] [11007] [DEBUG] GET /nginx-logo.png [2020-11-18 10:56:07 +0900] [11007] [DEBUG] GET /poweredby.png [2020-11-18 10:56:35 +0900] [11007] [DEBUG] POST /working_listworkinglistimport/ [2020-11-18 10:57:09 +0900] [11007] [DEBUG] GET /working_list [2020-11-18 10:57:35 +0900] [11007] [DEBUG] GET /boaform/admin/formLogin [2020-11-18 10:57:57 +0900] [11007] [DEBUG] GET /working_listworkinglistimport/ [2020-11-18 10:58:38 +0900] [11007] [DEBUG] POST /working_listworkinglistimport/ [2020-11-18 10:59:08 +0900] [11007] [DEBUG] GET /working_list [2020-11-18 10:59:14 +0900] [11007] [DEBUG] GET /working_listworkinglistimport/ [2020-11-18 10:59:27 +0900] [11007] [DEBUG] POST /working_listworkinglistimport/ [2020-11-18 11:00:00 +0900] [10999] [CRITICAL] WORKER TIMEOUT (pid:11007) [2020-11-18 11:00:00 +0900] [11007] [INFO] Worker exiting (pid: 11007) [2020-11-18 11:00:00 +0900] [11025] [INFO] Booting worker with pid: 11025 [2020-11-18 11:00:00 +0900] [11025] [DEBUG] GET /poweredby.png [2020-11-18 11:00:00 +0900] [11025] [DEBUG] GET /nginx-logo.png
以上で今回の件は、解決とさせていただきます。
ありがとうございました。
投稿2020/11/18 00:53
編集2020/11/18 02:16総合スコア6
あなたの回答
tips
プレビュー
