トップに関する質問【初心者】PHPからPython（でAWS CLI）を実行する際に、実行ユーザーの違いからファイル生成すらできなくなる現象を解消したい

編集履歴

質問編集履歴

タイトル修正

2020/02/23 08:25

投稿

minamino

スコア7

test CHANGED Viewed

	@@ -1 +1 @@
1	- 【初心者】PHPからPythonを実行する際に、実行ユーザーの違いからファイル生成すらできなくなる現象を解消したい
1	+ 【初心者】PHPからPython（でAWS CLI）を実行する際に、実行ユーザーの違いからファイル生成すらできなくなる現象を解消したい

test CHANGED Viewed

File without changes

冒頭に注意点を追記

2020/02/23 08:25

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,3 +1,11 @@
+※初心者がハマっていく過程が長文で書いてありますので、
+お急ぎの方は下部の自己解決の回答を先にお読みください。
 初心者です。
 ###参考URL１

言葉尻の変更。

2020/02/23 08:14

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -502,7 +502,7 @@
-まで来た、のではないかと考えている（しかし引き続き、polly.pyがコマンドラインでは正確に実行され、PHPからのexec実行では動作しない現象は続いている。）
+、、という箇所まで来た、のではないかと考えている（しかし引き続き、polly.pyがコマンドラインでは正確に実行され、PHPからのexec実行では動作しない現象は続いている。）

試したこと４～６を下部に追記。次のステップのアドバイス依頼。

2020/02/23 06:25

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,5 +1,7 @@
 初心者です。
+###参考URL１
 phpとpython連携で実行ユーザーの違いではまった件
 https://tsukarooohi.com/416.html#phppython
@@ -8,6 +10,8 @@
+###参考URL２
 下記のURLも該当するかどうか、只今検証中です。
 【AWS CLI】PHPのexec();を使うとAWS CLIのcredentialsがnot foundになるときの対処方法
@@ -64,8 +68,6 @@
-### 試した事
 ####１：sudo visudoで、分からないなりに、下記の行を全部追記して、apacheを再起動した。NGだった。
 ```
@@ -148,30 +150,30 @@
 ※python側のシバンに
+シャープ!/usr/bin/python3.5
+と書いてあるので、
+exec("python {$pythonに渡す環境変数（/usr/bin/python3.5/ ？）} /usr/lib/python3.5/フルPATH/polly.py");
+と書いてもexecの文法が間違っているのか、NG。
+冒頭のURL
+https://tsukarooohi.com/416.html#phppython
+の方は、.shファイルから環境変数（や実行ユーザー）をpythonに渡して動かしているようなのですが、関連情報を検索したところ.shの文法は未知の言語で記述されていて断念しました。
+###PYTHON側
+```
 #!/usr/bin/python3.5
-と書いてあるので、
-exec("python {$pythonに渡す環境変数（/usr/bin/python3.5/ ？）} /usr/lib/python3.5/フルPATH/polly.py");
-と書いてもexecの文法が間違っているのか、NG。
-冒頭のURL
-https://tsukarooohi.com/416.html#phppython
-の方は、.shファイルから環境変数（や実行ユーザー）をpythonに渡して動かしているようなのですが、関連情報を検索したところ.shの文法は未知の言語で記述されていて断念しました。
-###PYTHON側
-```
-#!/usr/bin/python3.5
 #coding:utf8
 # -*- coding: utf-8 -*-
@@ -324,4 +326,188 @@
+### 試した事４
+※2/23　14:32追記（試した事）：->参考URL２から原因究明を進め、
+コマンドラインから下記を実行
+```polly.py
+i3 = 'aws sts get-caller-identity'
+out = subprocess.check_output(i3, shell=True)
+print (out)
+file3 = '/var/www/html/t4/hoge.txt'
+Path(file3).touch()
+with open(file3,'w', encoding='utf8') as f2:
+  print(out, file=f2)
+#結果：b'{'UserId': 'xxxxxxxxxxxx', 'Arn': 'arn:aws:iam::xxxxxxxxxxxx:root', 'Account': 'xxxxxxxxxxxxxx'}
+```
+```polly.php
+<?php
+$command="aws sts get-caller-identity --region us-west-1";
+exec($command,$output);
+print "$output[0]\n";
+print_r($output);
+var_dump ($output);
+$command="python /usr/lib/python3.5/site-packages/polly/polly2.py $keywords $dir $manu $filepath";
+exec($command,$output);
+print "$output[1]\n";
+print_r($output);
+var_dump ($output);
+?>
+//HTTPの結果:bool(true) array(0) { } int(0)
+```
+と、PHPファイルをブラウザからURL表示して、execで全く同じpythonファイルを実行させたときのエラー（PHP側からは実行ユーザーの表示すらないように見える）
+```
+[Sun Feb 23 14:44:13.128866 2020] [php7:notice] [pid 3206] [client 61.210.204.156:56533] PHP Notice:  Undefined offset: 1 in /var/www/html/polly.php on line 353, referer: /polly.php
+Unable to locate credentials. You can configure credentials by running "aws configure".
+Unable to locate credentials. You can configure credentials by running "aws configure".
+Traceback (most recent call last):
+  File "/usr/lib/python3.5/site-packages/polly/polly2.py", line 36, in <module>
+    out = subprocess.check_output(ahoi3, shell=True)
+  File "/usr/lib64/python3.5/subprocess.py", line 316, in check_output
+    **kwargs).stdout
+  File "/usr/lib64/python3.5/subprocess.py", line 398, in run
+    output=stdout, stderr=stderr)
+subprocess.CalledProcessError: Command 'aws sts get-caller-identity' returned non-zero exit status 255
+```
+### 試した事５
+CENTOS7でservice httpd restartではなくsystemctl restart httpdのため、冒頭の参考URL２の通り試せない。代わりに、
+vim /etc/sysconfig/httpd
+から環境変数を確認するも、LANG=Cとだけしか指定されていないので、分からないなりにLANG=JPにしておいた。
+※意味なし。依然としてPHP側からのAWS CLI実行は動作せず。
+### 試した事６
+AWS Linuxインスタンス上PHPのexec()でコマンドを使いたい
+https://teratail.com/questions/162256
+という同様の質問を参考に、
+```polly.php
+<?php
+putenv('AWS_DEFAULT_REGION=' . $region);
+putenv('AWS_ACCESS_KEY_ID=' . $key);
+putenv('AWS_SECRET_ACCESS_KEY=' . $secret);
+$command="aws sts get-caller-identity --region us-west-1";
+exec($command,$output);
+print "$output[0]\n";
+print_r($output);
+var_dump ($output);
+//HTML出力結果
+Array
+(
+    [0] => {
+    [1] =>     "Account": "xxxxxxxxxxxx",
+    [2] =>     "Arn": "arn:aws:iam::xxxxxxxxxxxx:root",
+    [3] =>     "UserId": "xxxxxxxxxxxx"
+    [4] => }
+)
+```
+と、適切な（仮：rootは適切ではないが、コマンドライン実行時と同じ）ユーザーでPHPのHTML出力結果でも表示された。一歩進んだ、ような気がする。
+（参考URL２）の
+https://note.com/garugarion/n/n42c6f24dc892
+＞要注意なのがコマンドラインで$ printenv を実行するとUSERは適切なログインユーザーになっているところ。このせいで原因究明が遅れます。
+まで来た、のではないかと考えている（しかし引き続き、polly.pyがコマンドラインでは正確に実行され、PHPからのexec実行では動作しない現象は続いている。）
+あと一押し、お知恵を頂けると嬉しいです。
 何卒宜しくお願い申し上げます。

冒頭に、該当しそうなURLを追記

2020/02/23 06:24

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,11 +1,23 @@
 初心者です。
+phpとpython連携で実行ユーザーの違いではまった件
 https://tsukarooohi.com/416.html#phppython
 こちらの方と同様の症状ではまっています。
+下記のURLも該当するかどうか、只今検証中です。
+【AWS CLI】PHPのexec();を使うとAWS CLIのcredentialsがnot foundになるときの対処方法
+https://note.com/garugarion/n/n42c6f24dc892
 ### 実現したい事：
 PHPからPythonファイルを実行。Amazon CLIからpollyを使って、公開状態でS3に音声ファイルを生成したい。

試した事欄に、※印で、コメントを受けて試した事を2個追記

2020/02/23 04:00

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -134,6 +134,24 @@
 ```
+※python側のシバンに
+#!/usr/bin/python3.5
+と書いてあるので、
+exec("python {$pythonに渡す環境変数（/usr/bin/python3.5/ ？）} /usr/lib/python3.5/フルPATH/polly.py");
+と書いてもexecの文法が間違っているのか、NG。
+冒頭のURL
+https://tsukarooohi.com/416.html#phppython
+の方は、.shファイルから環境変数（や実行ユーザー）をpythonに渡して動かしているようなのですが、関連情報を検索したところ.shの文法は未知の言語で記述されていて断念しました。
 ###PYTHON側
@@ -220,6 +238,12 @@
 ```
+※aws configure --profile hoge
+から別のAWSアクセスキーを試してみたのですが、NGでした。
+AWS関係なく、rootとapacheのユーザーの違いを乗り越える必要があります。
 ###エラー

bucket name2

2020/02/23 03:42

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -172,7 +172,7 @@
-speech = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name  --voice-id Justin --text "'+format(polly)+'"'
+speech = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name bucket-name --voice-id Justin --text "'+format(polly)+'"'
@@ -196,7 +196,7 @@
-publicread = 'aws s3api put-object-acl --bucket txttxt --key '+soundurl+' --acl public-read'
+publicread = 'aws s3api put-object-acl --bucket bucket-name --key '+soundurl+' --acl public-read'
 out2 = subprocess.call(publicread, shell=True)

Bucketname

2020/02/23 03:23

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -172,7 +172,7 @@
-speech = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name txttxt --voice-id Justin --text "'+format(polly)+'"'
+speech = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name  --voice-id Justin --text "'+format(polly)+'"'

アクセスキー等の記載を省いてPHP側・Python側のコードをコピペ

2020/02/23 03:21

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -114,7 +114,23 @@
 ``` polly.php
+<?php
+//putenv('USER=apache');
+echo get_current_user(); // -> root
+$polly='Hello world.';
-$tmp2=exec("python /usr/lib/python3.5/フルPATH/polly.py");
+$tmp2=exec("python /usr/lib/python3.5/site-packages/youtube_transcript_api/polly.py $polly");
+echo $tmp2;
+?>
 ```
@@ -148,13 +164,59 @@
 import subprocess
-polly = "Hey Jotaro"
-ahoi = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name bucket-name --voice-id Justin --text "'+format(polly)+'"'
+from pathlib import Path
+polly = sys.argv[1]
+speech = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name txttxt --voice-id Justin --text "'+format(polly)+'"'
+out = subprocess.check_output(speech, shell=True)
+out = out.decode('utf-8')
+import json
+data = json.loads(out)
+print(data['SynthesisTask']['OutputUri'])
+soundurl=data['SynthesisTask']['OutputUri']
+import time
+time.sleep(10)
+publicread = 'aws s3api put-object-acl --bucket txttxt --key '+soundurl+' --acl public-read'
+out2 = subprocess.call(publicread, shell=True)
+new_dir_path4 = '/var/www/html/t4/'
+if not os.path.exists(new_dir_path4):
+  os.mkdir(new_dir_path4)
+file4 = '/var/www/html/t4/hello.txt'
+Path(file4).touch()
+with open(file4,'w', encoding='utf8') as f:
+  print(soundurl, file=f)
 ```
@@ -166,7 +228,7 @@
 sh: -c: line 0: syntax error near unexpected token `('
-sh: -c: line 0: `python /PATH/polly.py
+sh: -c: line 0: `python /usr/lib/python3.5/フルPATH/polly.py
 Unable to locate credentials. You can configure credentials by running "aws configure".

2020/02/23 02:31

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -8,7 +8,7 @@
 ### 実現したい事：
-PHPからPythonファイルを実行。Amazon CLIからpollyを使って、公開状態でS3にファイル生成したい。
+PHPからPythonファイルを実行。Amazon CLIからpollyを使って、公開状態でS3に音声ファイルを生成したい。
@@ -22,15 +22,15 @@
 コマンドラインから
-/PATH/polly.py
+/usr/lib/python3.5/フルPATH/polly.py
 を実行すると、何の問題もなくPollyを実行できる。
-S3にファイル生成も出来る。
+S3に音声ファイル生成も出来る。
 aws s3api put-object-acl --bucket bucket_name --acl public-read key path
-等として、後から公開状態にする事も出来る。
+等として、(後から)公開状態にする事も出来る。
@@ -90,7 +90,7 @@
-#### ２：CLIではなく、コード上にAWSのsecret access keyを記述して音声ファイルを出力すれば動く
+#### ２：CLIではなく、コード上にAWSのsecret access keyを記述して音声ファイルを出力すれば動く。
 出力先が/var/www/html/だったので、公開非公開のコントロールも容易にできた。
@@ -98,6 +98,8 @@
 #### ３：AMAZON POLLYは1500文字以上はCLI経由で実行しないといけないため、どうしてもCLIにする必要があるため、その他、『Python 環境変数とは？』等と検索しながら概念を理解しようと試みた。
+NGだった。
 今日も又、朝から16時間以上１個のバグで消耗。これまでに、同様の
 『PHPとPython間のユーザー権限の連携がうまくいってない。』
@@ -172,7 +174,7 @@
 ↑
-こちらは、WEBブラウザ上からEXEC(python /PATH/polly.py);が記載してあるPHPファイルを開いて表示させた時のエラーです。
+こちらは、WEBブラウザ上からEXEC(python /usr/lib/python3.5/フルPATH/polly.py);が記載してあるPHPファイルを開いて表示させた時のエラーです。
@@ -190,6 +192,32 @@
+但し、PHP pythonをまたぐとファイル生成もできない現象は、aws利用の時に限りません。
+まずは、
+実行ユーザーとは？
+どこでコントロールできるのか？
+PHP  echo get_current_user;でroot/apacheと表示されたらpython側でどう対応すれば良いか？
+といった概念を私が理解する必要があります。
+ちなみに、
+コマンドラインからpython経由で生成したファイルのユーザー/グループはroot。
+PHP経由でpythonを実行した際(動作しない時)は、apacheです。
 PHPからPythonを使い始めた当初から、ハマり続けています。
 このまるまる１日一つのバグで前に進まない状況を抜け出したいと考えています。

2020/02/23 01:11

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -40,7 +40,7 @@
 1.WEBブラウザ上から、全く同じPYTHONファイルを、
-2.<?php exec("python /PATH/polly.py"); ?>にて実行
+2.<?php exec("python /usr/lib/python3.5/フルPATH/polly.py"); ?>にて実行
@@ -56,6 +56,8 @@
 ####１：sudo visudoで、分からないなりに、下記の行を全部追記して、apacheを再起動した。NGだった。
+```
 root    ALL=(ALL)       ALL
 apache  ALL=(ALL)       ALL
@@ -84,6 +86,8 @@
 www-data  ALL=(ALL) ALL
+```
 #### ２：CLIではなく、コード上にAWSのsecret access keyを記述して音声ファイルを出力すれば動く
@@ -106,17 +110,17 @@
 ###PHP側
-"""polly.php
+``` polly.php
-$tmp2=exec("python /PATH/polly.py");
+$tmp2=exec("python /usr/lib/python3.5/フルPATH/polly.py");
-"""
+```
 ###PYTHON側
-"""
+```
 #!/usr/bin/python3.5
@@ -150,13 +154,13 @@
 ahoi = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name bucket-name --voice-id Justin --text "'+format(polly)+'"'
-"""
+```
-###エラーメッセージ
+###エラー
+```
 sh: -c: line 0: syntax error near unexpected token `('
@@ -164,6 +168,8 @@
 Unable to locate credentials. You can configure credentials by running "aws configure".
+```
 ↑
 こちらは、WEBブラウザ上からEXEC(python /PATH/polly.py);が記載してあるPHPファイルを開いて表示させた時のエラーです。
@@ -178,7 +184,7 @@
-上記の通り、PHPからPythonをEXECで動かした時に、AWS動作以前に、ファイル生成（touch）すら動作しなくなる現象の、根本原因を理解したいのです。
+上記の通り、PHPからPythonをexecで動かした時に、AWS動作以前に、ファイル生成（touch）すら動作しなくなる現象の、根本原因を理解したいのです。
 （EC2に移動すれば解消するようであれば、引っ越しします）

/PATH/polly.pyは、PHPから実行したファイルも、コマンドラインから実行したファイルも、同じファイルです。

2020/02/23 00:34

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -38,9 +38,9 @@
-1.WEBブラウザ上から、PHPを実行
+1.WEBブラウザ上から、全く同じPYTHONファイルを、
-2.<?php exec("python /PATH/polly.py"); ?>を実行
+2.<?php exec("python /PATH/polly.py"); ?>にて実行
@@ -164,6 +164,10 @@
 Unable to locate credentials. You can configure credentials by running "aws configure".
+↑
+こちらは、WEBブラウザ上からEXEC(python /PATH/polly.py);が記載してあるPHPファイルを開いて表示させた時のエラーです。

PHP側・PYTHON側双方のコードを追記

2020/02/22 16:50

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -104,6 +104,58 @@
+###PHP側
+"""polly.php
+$tmp2=exec("python /PATH/polly.py");
+"""
+###PYTHON側
+"""
+#!/usr/bin/python3.5
+#coding:utf8
+# -*- coding: utf-8 -*-
+from boto3 import Session
+from boto3 import resource
+import boto3
+from contextlib import closing
+import itertools
+import os
+import sys
+import subprocess
+polly = "Hey Jotaro"
+ahoi = 'aws polly start-speech-synthesis-task --region us-west-1 --endpoint-url "https://polly.us-west-1.amazonaws.com/" --output-format mp3 --output-s3-bucket-name bucket-name --voice-id Justin --text "'+format(polly)+'"'
+"""
 ###エラーメッセージ
 sh: -c: line 0: syntax error near unexpected token `('
@@ -118,7 +170,7 @@
 ###頂くアンサーの方向性
-今回は、AWSのエラーが出ているため、AWS configure関連のアドバイスも歓迎なのですが、
+今回は、AWSのエラーが出ているため、AWS configure/IAM関連のアドバイスも歓迎なのですが、

状況説明を追記

2020/02/22 16:46

投稿

minamino

スコア7

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,9 +92,9 @@
-#### ３：AMAZON POLLYは1500文字以上はCLI経由で実行しないといけないため、どうしてもCLIにする必要があるため、その他、『Python 環境変数とは？』等と検索しながら概念をしようと試みた。
+#### ３：AMAZON POLLYは1500文字以上はCLI経由で実行しないといけないため、どうしてもCLIにする必要があるため、その他、『Python 環境変数とは？』等と検索しながら概念を理解しようと試みた。
-しかし、これまでに、同様の
+今日も又、朝から16時間以上１個のバグで消耗。これまでに、同様の
 『PHPとPython間のユーザー権限の連携がうまくいってない。』

タイトルを、省略せずに説明的に記載

2020/02/22 16:40

投稿

minamino

スコア7

test CHANGED Viewed

	@@ -1 +1 @@
1	- 【初心者】PHPからPythonを実行する時の実行ユーザーの違いを解消したい
1	+ 【初心者】PHPからPythonを実行する際に、実行ユーザーの違いからファイル生成すらできなくなる現象を解消したい

test CHANGED Viewed

@@ -9,6 +9,12 @@
 ### 実現したい事：
 PHPからPythonファイルを実行。Amazon CLIからpollyを使って、公開状態でS3にファイル生成したい。
+###環境
+SAKURA VPS　CENTOS7　Python3.5
@@ -118,6 +124,8 @@
 上記の通り、PHPからPythonをEXECで動かした時に、AWS動作以前に、ファイル生成（touch）すら動作しなくなる現象の、根本原因を理解したいのです。
+（EC2に移動すれば解消するようであれば、引っ越しします）
 PHPからPythonを使い始めた当初から、ハマり続けています。