常連

###前提・実現したいこと
Webのサーバーサイド(APIなど)の開発を行っていて502エラーが発生するようになってしまいました。

現在複数台のサーバーでサービス動かしており
流れとしては以下のような感じです。

1. ユーザーがUserのGETのリクエストを飛ばす
1.   UserサーバーがGET処理を実行
1.   UserサーバーのGET処理の中でInfoのGETを実行
1.       InfoサーバーでGET処理を実行
1.       InfoサーバーのGET処理の中でDataのGETを実行
1.         DataサーバーでGET処理を実行
1.         DataサーバーからInfoサーバーにレスポンスを返す
1.       Infoサーバーがレスポンスを受け取りデータを整形
1.       InfoサーバーからUserサーバーにレスポンスを返す
1.   Userサーバーがレスポンスを受け取りデータを整形
1.   Userサーバーがユーザーにレスポンスを返す
1. ユーザーがレスポンスを受け取る


502エラーが発生する原因は
infoサーバー内ででているConnection refusedエラーが原因だと思っています。

これを解決する方法を探しています。


###発生している問題・エラーメッセージ

userサーバーで起きているエラー
```
urllib.error.HTTPError: HTTP Error 502: Bad Gateway
```

infoサーバーで起きているエラー
「InfoサーバーのGET処理の中でDataのGETを実行する」
このタイミングでエラーが発生します。
```
urllib.error.URLError: <urlopen error [Errno 111] Connection refused>
```

###設定周りの情報


gunicornの設定です。
関係ありそうな部分だけ抜粋しました。

```
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
timeout = 30
keepalive = 2
```

nginxの.confではアクセス数やレスポンスまでの時間制限などの設定は行っていないです。

### 試したこと

Connection refusedは必ず発生するわけではありませんでした。
頻度としては7回に1回ほどエラーが出ます。
発生しない場合は取得したかった内容が取得できています。

###補足情報(言語/FW/ツール等のバージョンなど)
取得しているデータは文字列で半角英数字記号で500字ほど。
json形式で取得します。
成否問わずレスポンスは0.5秒かからず返ってきます。

環境情報
EC2インスタンス
Linux
nginx
Python3
gunicorn

RDSインスタンス
MySQL

APIの取得の確認は主にChromeで行っています。

### 追記、試したこと1
gunicornの設定の下記2つを変更しての動作を確認してみました。
変更したところインスタンスを作成してから
約1時間ほどで適当に百数回以上GETを試しましたが502エラーは発生しませんでした。
しかし、時間がたってからGETを行ったところ502が発生。
以降発生するのは変わりませんが頻度は少しだけ減ったように感じます。
（1/7から1/10くらいに変化）

```
timeout = 30 -> 3000
keepalive = 2 -> 20
```

### 追記

nginxのキャッシュが溜まっているとかそういう面について調べましたが
キャッシュは作られていませんでした。（設定もしてないです）

また現在サーバーの再起動や何やらは切ってある状態で試しているため
もし停止したら停止しっぱなしになります。

### 追記2

Dockerで同じような状況を作って試してみました。
DockerでMySQLサーバーを立てて、
CentOSのサーバーを立てて、
AWSのEC2インスタンスとRDSインスタンスと同じ内容を詰め込んで
Docker内でやり取りさせてみました。

そして、502エラーが発生するまで無限ループを行うようスクリプトを準備し
それを12個ほどcmdから実行しています。
現在30分ほど経ちましたが今のところ502エラーは発生していません。
AWSでも同じことをして試してみます。

### 追記3：メモリが怪しそうです
free コマンドでメモリの使用量を確認したところ以下のように表示されました。
また、GETを繰り返すたびにMem-usedの値が上がっていくのが確認できました。
Mem-cachedはすぐには上がりませんでしたがココらへんについてもう少し深く調査してみようと思います。

```
[ec2-user@ip-172-31-29-13 ~]$ free -m
             total       used       free     shared    buffers     cached
Mem:           995        871        123          0         32        682
-/+ buffers/cache:        157        838
Swap:            0          0          0
```

### 追記4：メモリに負荷をかけてリクエストの結果

stress コマンドでメモリに負荷をかけて
```
stress --vm 2 --vm-bytes 400M --timeout 10m
```

10のプロセスから各1000回づつ、10/sでリクエストの送信を行っている状態での
vmstatコマンドの結果です。

```
2017/01/26 11:05:25 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
2017/01/26 11:05:25  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
2017/01/26 11:05:25  2  0      0 291484   4024  18948    0    0    10    25   77   85  1  1 98  0  0	
2017/01/26 11:05:26  2  0      0 266260   4032  18940    0    0     0    48  265  298 13 87  0  0  0	
2017/01/26 11:05:27  2  0      0 261168   4032  18940    0    0     0     0  251  258 16 84  0  0  0	
2017/01/26 11:05:28  3  0      0 179840   4044  20852    0    0  1940     0 1979 1332 32 68  0  0  0	

...省略
```

メモリに負荷をかけていない状態ではcpu の id に余裕がありましたが、
負荷をかけた状態では上記のようになっています。

### 仕様について追記

nginxを起動後、gunicornを起動させて
その状態でずっと稼働しっぱなしにして動かしています。

そして、問題の502が起きるのは、しばらくアクセスを繰り返した後に発生し始めること
アクセスするたびにメモリが減っていく様子が確認できたことからそこら辺に原因があるかもしれないと思っています。

### 現在の状況

InfoサーバーやDataサーバーから取得するデータ量を減少させたて、
タイムアウトまでの時間を伸ばすことでほぼ502エラーが出ないことが確認できました。
一応以前は502エラーが発生していた時以上にはアクセスを繰り返してもエラーは発生しませんでした。
例としては 10プロセスから 10/s で 各1千回リクエストを飛ばすと行ったことをしましたが
エラーは発生せずに終えることができました。

また、UserサーバーからInfoサーバーにリクエストを飛ばした際に
正常な結果が得られるまでリクエストを飛ばすことで、無理やり押し通すことが出来るのも確認しました。
（これはコメントアウトした状態で検証しています。）


ただ、どちらも対処療法の領域をでておらず、
原因の特定に至っていないためまだ調査中と言った感じです。

### ワーカープロセスについて
今回のことで初めて調べたのであっているかわかりませんがご了承ください。
nginx,gunicorn共にすべてのサーバーで同じ設定を行っています。
サーバーのスペックも同スペックで作成しています。

まずこちらのサイトを参考にCPUや最大プロセス数を調べたところ
http://www.crystalsnowman.com/?p=344

CPU : 1
最大プロセス数 ： 1024

とわかりました。
また、nginxにはワーカープロセスについての設定を行って無い状態でした。

gunicornでは以下の設定は行っていました。
``
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
``

以下は動いているnginxとgunicornのプロセスを確認したものです。
```
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep nginx |grep -v grep
root     17576  0.0  0.1  58088  1080 ?        Ss   11:58   0:00 nginx: master process nginx
ec2-user 17578  0.0  0.4  58600  4756 ?        S    11:58   0:00 nginx: worker process
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep gunicorn |grep -v grep
ec2-user 17614  0.0  2.1 202156 22332 ?        S    11:58   0:01 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17646  0.4  2.5 223292 25996 ?        S    11:58   0:44 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17647  0.3  2.5 223296 26000 ?        S    11:58   0:38 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17648  0.4  2.5 223248 26004 ?        S    11:58   0:41 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
```

Connection refused エラーの検証と原因の特定方法

Pythonのシステムエラーでinvalid decimal literal
と出てきたのですが、どのような意味なのでしょうか。

システムエラーについて

### 解決したいこと
AWSのEC2を勉強しており、Webページを作るために、サーバーにhtml/css/jsの入ったディレクトリをアップロードしようとしているのですが、どうしてもうまくいきません。
解決方法をご教示いただけると嬉しいです。

### 発生している問題・エラー
EC2のサーバーにファイルを送信しようとすると、SHHキーファイルが見つからないと出てしまいます。
ターミナルからSSH接続するときは問題なくアマゾンの鳥まで辿り着けるので、パスは間違っていないと思うのですが、アップロードの時はSSHキーファイルを見つけてくれません。

入力コマンド）

```ここに言語を入力
scp -i キーファイルのパス.pem -r 転送したいディレクトリ ec2-user@EC2インスタンスのパブリックIPv4DNS:/var/www/html/
```

エラー例）

```ここに言語を入力
Warning: Identity file キーファイルパス.pem not accessible: No such file or directory.
ec2-user@AWSのパブリックIPv4 DNS: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
```
自分で試したこと
キーファイルのパス確認→パスは間違いなく正確でした。
キーファイルの権限が読み取り専用であることの確認→読み取り専用に変更後、scpコマンドを試行しても解決しませんでした。
キーファイルの拡張属性の削除→com.apple.quarantineの削除後、scpコマンドを試行しても解決しませんでした。

勉強中で初歩的なミスかもしれませんが、ご助力賜りますと幸いです。

Permission deniedエラーで、EC2サーバーにアップロードできません。

### 疑問

- 「APIサーバ」という言葉はあるのか
- 「APサーバ」と「APIサーバ」の違いは何か
- APIサーバ ⊂ APサーバ ？

APIサーバという言葉を見かけたのは「LaravelをDBとの接続/Web APIの公開のみに特化させ、フロントエンドは全てVue.jsが担う」という文脈の中で、Laravelに対して使われていました。
Web APIを公開するためだけのサーバという意味で使われているのかなと思ったのですが、調べているうちにAPサーバという言葉も出てきて混乱しています。

APサーバーの説明の中に「別のアプリケーションの処理内容（ビジネスロジック）を実装・実行するためのミドルウェア」とあったのですが、APIとはこのビジネスロジックに該当する部分になるのでしょうか。

質問文中に用語の使い方がおかしい箇所があれば、併せてご指摘頂ければありがたいです。

### 調べたことのまとめ（ほぼコピペ）

#### API（Application Programming Interface）とは

> APIとは、あるコンピュータプログラム（ソフトウェア）の機能や管理するデータなどを、外部の他のプログラムから呼び出して利用するための手順やデータ形式などを定めた規約のこと。
[出典](http://e-words.jp/w/API.html)

#### Web APIとは

> Web APIとは、コンピュータプログラムの提供する機能を外部の別のプログラムから呼び出して利用するための手順・規約（API：Application Programming Interface）の類型の一つで、HTTPなどWebの技術を用いて構築されたもののこと。
[出典](http://e-words.jp/w/Web_API.html)

#### APサーバとは

> Webアプリケーションサーバとは、Webアプリケーションを構成するサーバ側のプログラムの実行環境を提供するソフトウェア。3階層システムの中間層で、個別のアプリケーションの処理内容（ビジネスロジック）を実装・実行するためのミドルウェアを指す。
[出典](http://e-words.jp/w/Web%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%B5%E3%83%BC%E3%83%90.html)

WEBサーバー - WEBアプリケーションサーバ（APサーバ） - DBMS（データベース管理システム）

### 触ったことがある言語

PHP（Laravel）
JavaScript（Vue.js）

APサーバとAPIサーバ？の違い

スケジュール管理のwebアプリ作成においてカレンダー画面にスケジュールを表示させる段階で以下のようなエラーがでてしまい躓いています。
いろいろと調べてみたのですがプログラミング初心者のため、どこを修正すればよいのか検討がつきません。

エラーメッセージ
HTTPステータス 500 ? Internal Server Error
Type Exception Report

説明 The server encountered an unexpected condition that prevented it from fulfilling the request.

例外

java.lang.NullPointerException
	MonthView5.createScheduleStr(MonthView5.java:191)
	MonthView5.doGet(MonthView5.java:148)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:634)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:741)
	org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:53)
注意 原因のすべてのスタックトレースは、サーバのログに記録されています

java
ソースコード
長いので以下にソースコードのリンクを貼らさせていただきます。
[リンク内容](https://www.javadrive.jp/servlet/schedule/MonthView5.java)

補足情報
tomcat9.0
MySQL

500エラーの対処法がわかりません。

### 実現したいこと

- [ ] Webアプリにおいて、外部サービスのAPIに用いるトークンを安全に保管する

### 前提

現在、Node.js + Express + MySQL（Sequelizeを使用）でWebアプリを作成しています。
また、環境はパブリッククラウド（Azure）となります。
Webアプリの処理の中で、外部のサービスから情報を取ってくるため、そのサービスのAPIを叩くのですが、このトークンの悪用を防止したいです。

### 発生している問題・エラーメッセージ


### 該当のソースコード


### 試したこと

DBに保存する、ファイルに書き込んで保存するの2つを検討しましたが、いずれも不正アクセスで読み取られた場合どうしようもない、という結論になりました。
パスワードであれば暗号化して保存してしまえば良いのですが、トークンの場合は使用する際復号する必要があるためです。

Web開発自体初めてでして、情報が足りていない等ありましたらお手数ですがご指摘いただけると幸いです。
みなさんの知恵をお貸しください。
よろしくお願いいたします。

Webアプリにおけるトークンの安全な管理

有識者の皆様

お世話になります。

業務アプリケーションを構築する際、WEBサーバをActive/Activeの負荷分散方式とすると仮定してください。
ここで、WEBサーバへのリクエストについてセッション管理の方法を考えているのですが、いかんせん初心者のため最適な管理方法、およびメリット・デメリットの整理がつかない状況です。まずセッション管理の方法としては、私が思いつくのはわずか2つです。
1.セッション情報をファイルとしてサーバ上にもつ。
→一般的な方式かなと思いましたが、今回のような2機稼働方式では、一方で保存されたセッション情報ファイルをもう一方が参照できないのでは、、、と考えました。私のこの考えは合っていますでしょうか？

2.DBサーバに保存する。
→別途DBサーバに保存することで上記の問題を解決できると考えました。ただDBサーバを使うことによるデメリットってあるのでしょうか？もしくはメリットがありましたら、そちらもご教示願いたいです。

私の知識ではそもそも上記2つ方法しか思いつきませんでしたが、そもそも別の方式もありますでしょうか？
また、セッション管理方法において、上記1.2.のどちらが良い、現在のトレンドである！などあるのでしょうか。

また、DBによる管理を考えた場合、注意すべき点など一般的なWEB開発の観点から考えうることがあればよろしくお願いします。

業務アプリケーション構築におけるセッション情報管理方法について

### 前提・実現したいこと
XAMPPを使い、自分のパソコンをWEBサーバーにしたい

### 発生している問題・エラーメッセージ
http://localhost/test.phpへのアクセスができません

このサイトにアクセスできません localhost で接続が拒否されました。
次をお試しください

接続を確認する
プロキシとファイアウォールを確認する
ERR_CONNECTION_REFUSED

Webサーバー