常連

注目の的

###前提・実現したいこと
Webのサーバーサイド(APIなど)の開発を行っていて502エラーが発生するようになってしまいました。

現在複数台のサーバーでサービス動かしており
流れとしては以下のような感じです。

1. ユーザーがUserのGETのリクエストを飛ばす
1.   UserサーバーがGET処理を実行
1.   UserサーバーのGET処理の中でInfoのGETを実行
1.       InfoサーバーでGET処理を実行
1.       InfoサーバーのGET処理の中でDataのGETを実行
1.         DataサーバーでGET処理を実行
1.         DataサーバーからInfoサーバーにレスポンスを返す
1.       Infoサーバーがレスポンスを受け取りデータを整形
1.       InfoサーバーからUserサーバーにレスポンスを返す
1.   Userサーバーがレスポンスを受け取りデータを整形
1.   Userサーバーがユーザーにレスポンスを返す
1. ユーザーがレスポンスを受け取る


502エラーが発生する原因は
infoサーバー内ででているConnection refusedエラーが原因だと思っています。

これを解決する方法を探しています。


###発生している問題・エラーメッセージ

userサーバーで起きているエラー
```
urllib.error.HTTPError: HTTP Error 502: Bad Gateway
```

infoサーバーで起きているエラー
「InfoサーバーのGET処理の中でDataのGETを実行する」
このタイミングでエラーが発生します。
```
urllib.error.URLError: <urlopen error [Errno 111] Connection refused>
```

###設定周りの情報


gunicornの設定です。
関係ありそうな部分だけ抜粋しました。

```
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
timeout = 30
keepalive = 2
```

nginxの.confではアクセス数やレスポンスまでの時間制限などの設定は行っていないです。

### 試したこと

Connection refusedは必ず発生するわけではありませんでした。
頻度としては7回に1回ほどエラーが出ます。
発生しない場合は取得したかった内容が取得できています。

###補足情報(言語/FW/ツール等のバージョンなど)
取得しているデータは文字列で半角英数字記号で500字ほど。
json形式で取得します。
成否問わずレスポンスは0.5秒かからず返ってきます。

環境情報
EC2インスタンス
Linux
nginx
Python3
gunicorn

RDSインスタンス
MySQL

APIの取得の確認は主にChromeで行っています。

### 追記、試したこと1
gunicornの設定の下記2つを変更しての動作を確認してみました。
変更したところインスタンスを作成してから
約1時間ほどで適当に百数回以上GETを試しましたが502エラーは発生しませんでした。
しかし、時間がたってからGETを行ったところ502が発生。
以降発生するのは変わりませんが頻度は少しだけ減ったように感じます。
（1/7から1/10くらいに変化）

```
timeout = 30 -> 3000
keepalive = 2 -> 20
```

### 追記

nginxのキャッシュが溜まっているとかそういう面について調べましたが
キャッシュは作られていませんでした。（設定もしてないです）

また現在サーバーの再起動や何やらは切ってある状態で試しているため
もし停止したら停止しっぱなしになります。

### 追記2

Dockerで同じような状況を作って試してみました。
DockerでMySQLサーバーを立てて、
CentOSのサーバーを立てて、
AWSのEC2インスタンスとRDSインスタンスと同じ内容を詰め込んで
Docker内でやり取りさせてみました。

そして、502エラーが発生するまで無限ループを行うようスクリプトを準備し
それを12個ほどcmdから実行しています。
現在30分ほど経ちましたが今のところ502エラーは発生していません。
AWSでも同じことをして試してみます。

### 追記3：メモリが怪しそうです
free コマンドでメモリの使用量を確認したところ以下のように表示されました。
また、GETを繰り返すたびにMem-usedの値が上がっていくのが確認できました。
Mem-cachedはすぐには上がりませんでしたがココらへんについてもう少し深く調査してみようと思います。

```
[ec2-user@ip-172-31-29-13 ~]$ free -m
             total       used       free     shared    buffers     cached
Mem:           995        871        123          0         32        682
-/+ buffers/cache:        157        838
Swap:            0          0          0
```

### 追記4：メモリに負荷をかけてリクエストの結果

stress コマンドでメモリに負荷をかけて
```
stress --vm 2 --vm-bytes 400M --timeout 10m
```

10のプロセスから各1000回づつ、10/sでリクエストの送信を行っている状態での
vmstatコマンドの結果です。

```
2017/01/26 11:05:25 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
2017/01/26 11:05:25  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
2017/01/26 11:05:25  2  0      0 291484   4024  18948    0    0    10    25   77   85  1  1 98  0  0	
2017/01/26 11:05:26  2  0      0 266260   4032  18940    0    0     0    48  265  298 13 87  0  0  0	
2017/01/26 11:05:27  2  0      0 261168   4032  18940    0    0     0     0  251  258 16 84  0  0  0	
2017/01/26 11:05:28  3  0      0 179840   4044  20852    0    0  1940     0 1979 1332 32 68  0  0  0	

...省略
```

メモリに負荷をかけていない状態ではcpu の id に余裕がありましたが、
負荷をかけた状態では上記のようになっています。

### 仕様について追記

nginxを起動後、gunicornを起動させて
その状態でずっと稼働しっぱなしにして動かしています。

そして、問題の502が起きるのは、しばらくアクセスを繰り返した後に発生し始めること
アクセスするたびにメモリが減っていく様子が確認できたことからそこら辺に原因があるかもしれないと思っています。

### 現在の状況

InfoサーバーやDataサーバーから取得するデータ量を減少させたて、
タイムアウトまでの時間を伸ばすことでほぼ502エラーが出ないことが確認できました。
一応以前は502エラーが発生していた時以上にはアクセスを繰り返してもエラーは発生しませんでした。
例としては 10プロセスから 10/s で 各1千回リクエストを飛ばすと行ったことをしましたが
エラーは発生せずに終えることができました。

また、UserサーバーからInfoサーバーにリクエストを飛ばした際に
正常な結果が得られるまでリクエストを飛ばすことで、無理やり押し通すことが出来るのも確認しました。
（これはコメントアウトした状態で検証しています。）


ただ、どちらも対処療法の領域をでておらず、
原因の特定に至っていないためまだ調査中と言った感じです。

### ワーカープロセスについて
今回のことで初めて調べたのであっているかわかりませんがご了承ください。
nginx,gunicorn共にすべてのサーバーで同じ設定を行っています。
サーバーのスペックも同スペックで作成しています。

まずこちらのサイトを参考にCPUや最大プロセス数を調べたところ
http://www.crystalsnowman.com/?p=344

CPU : 1
最大プロセス数 ： 1024

とわかりました。
また、nginxにはワーカープロセスについての設定を行って無い状態でした。

gunicornでは以下の設定は行っていました。
``
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
``

以下は動いているnginxとgunicornのプロセスを確認したものです。
```
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep nginx |grep -v grep
root     17576  0.0  0.1  58088  1080 ?        Ss   11:58   0:00 nginx: master process nginx
ec2-user 17578  0.0  0.4  58600  4756 ?        S    11:58   0:00 nginx: worker process
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep gunicorn |grep -v grep
ec2-user 17614  0.0  2.1 202156 22332 ?        S    11:58   0:01 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17646  0.4  2.5 223292 25996 ?        S    11:58   0:44 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17647  0.3  2.5 223296 26000 ?        S    11:58   0:38 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17648  0.4  2.5 223248 26004 ?        S    11:58   0:41 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
```

Connection refused エラーの検証と原因の特定方法

## 背景
簡単な自作のWebサイトを以下の構成で公開しています。
- nginx
- uwsgi
- Django

現在は、Djangoのディレクトリは、（ユーザ名をhogeとして）
`/home/hoge/mysite`に置いています。
また、nginxの設定ファイルもそこを指すようにしています。

しかしながら、一般的にはwebアプリのデータは`/var/www`に置くことが普通のようです。

## 質問１
webアプリデータを`/var/www`に置くのは、単なる慣習ですか？
それとも明確な理由があるでしょうか。
特に、`/home`の下に置くことに明らかな問題があるでしょうか？

## 質問２
本番用のwebアプリを`/var/www`に置く場合、開発はどこのディレクトリでやるのが普通でしょうか。
例えばDjango等には開発用サーバが付随しており、それでデバッグしながらコーディングをすると思います。
それは`/home`の下でやるのが普通ではないのでしょうか?

もしそうだとする場合、開発完了したものを本番領域へ移すのは通常どのようにするのでしょうか。
（ナイーブに `cp`コマンドでコピーする・・・？）

初学者で申し訳ありません、調べてはみたのですが、
当たり前すぎる知識のようで上手く答えを得ることができませんでした。

よろしくお願いいたします。

## 環境
- OS: Ubuntu 16
- Webサイト構成: nginx + uWSGI + Django
- サーバ: ConoHa VPS

なぜWebデータを/var/wwwに置かないといけないのか？

こんにちは。　二日間ほど調べ尽くしたのですが、どうして解決できないエラーがあるので質問させていただきます。　

現在Amazon Linux 2 上でPostgreSQL11 をインストールしようとしているのですが、　以下のコマンドでpostgresql パッケージをインストールできません。

```ここに言語を入力
 yum install https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
```
以下が出力結果になります。

```ここに言語を入力

読み込んだプラグイン:extras_suggestions, langpacks, priorities, update-motd
pgdg-redhat-repo-latest.noarch.rpm                                                           | 5.6 kB  00:00:00     
/var/tmp/yum-root-O8nZ7u/pgdg-redhat-repo-latest.noarch.rpm を調べています: pgdg-redhat-repo-42.0-4.noarch
/var/tmp/yum-root-O8nZ7u/pgdg-redhat-repo-latest.noarch.rpm をインストール済みとして設定しています
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ pgdg-redhat-repo.noarch 0:42.0-4 を インストール
--> 依存性の処理をしています: /etc/redhat-release のパッケージ: pgdg-redhat-repo-42.0-4.noarch
189 packages excluded due to repository priority protections
--> 依存性の処理をしています: /etc/redhat-release のパッケージ: pgdg-redhat-repo-42.0-4.noarch
--> 依存性解決を終了しました。
エラー: パッケージ: pgdg-redhat-repo-42.0-4.noarch (/pgdg-redhat-repo-latest.noarch)
             要求: /etc/redhat-release
 問題を回避するために --skip-broken を用いることができます。
 これらを試行できます: rpm -Va --nofiles --nodigest
```

--skip-broken　を付け足しても、rpm -Va --nofiles --nodigest　を実行しても特に変化はありませんでした。

途方にくれています。　何か少しでもこの問題についてご存知の方がいらっしゃいましたら、ご教授いただけましたら幸いです。　よろしくお願いいたします。

Amazon Linux 2でpostgresqlのパッケージがインストールできない。

私はC++歴3年の学生趣味プログラマーです。
「C++はなぜヘッダと実装を分けなくてはならないのか/そもそも本当に分けなければならないのか」という質問です。

C++といえば、ヘッダー部と実装部を.hファイルと.cppファイルに分けることが一般的とされている言語ですが、
これは同じオブジェクト指向言語のC#やJavaにはない特徴です。

そのせいでC++使いたちは今日もcppファイルとhファイルを行ったり来たりしながらコーディングする羽目になっています。（そしてVS使いはF12とCtrl+-を得意気に連打しています。）

私にとってもそれが当たり前になって久しいですが、
時々C++を学び始めたばかりの後輩から「なぜヘッダファイルに実装を書いてはならないのか」「なぜC++は二度も同じコードを書くことを強いるのか」と質問を受けます。
私はそのたびに「実装の隠蔽化」とか「循環参照の危険が云々」とか「そもそもそういう言語なんだ」とか「コード構造の可読性」とか「未来の自分が困るんだよ」とか言ってお茶を濁してきましたが、
自分自身どうも納得しきれていません。

例えば、個人開発で、循環参照の問題やコンパイル時間の問題がないようなコード構造であれば、
ヘッダに実装を書くことに果たして問題はあるのでしょうか？

私はどうやって後輩たちを納得させ、C#ライクなC++コードを書きたがる彼らを説得したらよいでしょうか。

意見を聞かせてもらえれば嬉しいです。

参考にしたサイト一部
[ヘッダファイルの謎(3)](http://d.hatena.ne.jp/mihael2/20031028)
[プログラミングメモ - C++ のソースをヘッダと実装に分ける理由とか](http://qune.cside.com/archives/001334.html)
[C++ でのビルド時間を短縮するいくつかの方法](http://d.hatena.ne.jp/melpon/20101022/1287705842)

関係がありそうなキーワード
・隠蔽化、循環参照、テンプレート、inline、コンパイル


追記(15/06/04 23:34)：
・「第三者利用」が問題なら「ライブラリとしての公開やチーム開発などコードの再利用がない個人開発」という前提になればヘッダに実装してしまっても構わないことになりますがいいのでしょうか。
・「コンパイル時間」が問題ならマシンスペックの向上で将来的に解決されるレベルの問題であり、あくまで"現時点では"ヘッダファイルに実装を書くのは好ましくない、という話になってしまいますがそういう理解でよろしいのでしょうか。

・結局、二度書きの手間に対して十分なメリットが確保できるか否かという話になり、好みや自己責任の話になってしまうのではと危惧しています。C++とはどんな言語なのか、なかなか思想が見えてこなくて理解が及ばないです。レイヤーの低さや速度に特徴があるが、開発効率ではC#に劣る古き業務用言語ということなのでしょうか？（あえて極端な言い方をしています）

・（なお、私自身はヘッダで実装を書くことはないです。そこそこの規模のコードを書いたりしますしヘッダと実装は分けないとやってらんないです。自分が書いたコードを読んで構造を思い出す作業は苦行ですのでそれが不要な時点で恩恵は強く感じています。ですのでこれは主観の話ではなく言語思想,言語仕様の話として回答いただければ幸いです。）

【C++】なぜヘッダと実装はわけるべきなのでしょうか（.hに実装を書くことは邪道か）

Internet Explorerにて、以下URLに設置されているjavascriptのボタンをselenium(python)でクリックしたいです。

http://netspeed-tokyo.studio-radish.com/speedtest.html?mode=rw&precision=hi&type=l

どのような方法でクリックできますでしょうか？

javascriptのボタンをselenium(python)を使用してクリックしたい

「ログインする際の重複アドレスがないかどうか」

を昨日からずっとやってるんですが、解決しないです。


**ある値がデータベースに登録済かどうかをチェックするには、データ（アドレスのカラム）の行数
をカウントするSQL文を使用する**らしいんですが、、、

知りたいのは行数のカウントじゃなくて、登録されているアドレスそのものなのにどういうことなんだ？ってなって頭がぐるぐる回ってます...



「行数のカウントを取得するということは・・・・・」

「つまり・・・・・」

「したがって、・・・・・・」


その場だけの記述を覚えても理解しないと応用できないので、分かりやすく解説頂けると助かります。

sql文はPDOではなくsqliを使っています。
参考書の記述と解説がほとんどsqliでPDOではない為です。


宜しくお願いいたします。



≪追記≫

思った以上に回答してくださる方がいらっしゃいますので、質問を具体的にする為、サンプルのソースを追記します。

冒頭で、「ログインする際の重複アドレスがないかどうか」と記載しておりますが、誤りです。

「新規登録する際の重複アドレスがないかどうか」です。

宜しくお願いします。

```
// 重複アカウントのチェック
	if (empty($error)) {
		$sql = sprintf('SELECT COUNT(*) AS cnt FROM members WHERE email="%s"',
			mysqli_real_escape_string($db, $_POST['email'])
		);
		$record = mysqli_query($db, $sql) or die(mysqli_error($db));
		$table = mysqli_fetch_assoc($record);
		if ($table['cnt'] > 0) {
			$error['email'] = 'duplicate';
		}
	}


<input type="text" name="email" size="35" maxlength="255" value="<?php echo htmlspecialchars($_POST['email'], ENT_QUOTES, 'UTF-8'); ?>" />
			<?php if ($error['email'] == 'blank'): ?>
			<p class="error">* メールアドレスを入力してください</p>
			<?php endif; ?>
			<?php if ($error['email'] == 'duplicate'): ?>
			<p class="error">* 指定されたメールアドレスはすでに登録されています</p>
			<?php endif; ?>

```