常連

#やりたいこと

PHPからコマンドでCasperJSを実行したいです。
```php
<?php
exec("casperjs casper.js");
```

#やってみたこと

まず、上記のコードだとエラーが出ました。調べたらパスが通ってないのが原因だと書いてあったので、絶対パス指定しました。

また、普段使っているユーザーでグローバルインストールしたCasperJSを指定するとパーミッションがダメな気がしたので、ローカルインストールしたCasperJSを指定しています。

さらに、`PhantomJSインストールした？`みたいなエラーが出たので調べると、`putenv("PHANTOMJS_EXECUTABLE=PhantomJSのパス");`を書けばいいとあったので書きました。これはCasperJSのバグだそうです。

次に、casperjsとphantomjsを`chmod 777`して、nginxをwheelグループに追加して、コマンドをsudoで実行するようにしました。

```/etc/group
#/etc/group

wheel:x:10:admin,nginx
```

改善後のPHPコード↓

```php
<?php

// 環境変数の設定
putenv("PHANTOMJS_EXECUTABLE=/var/www/CasperJS/node_modules/phantomjs-prebuilt/bin/phantomjs");

exec("sudo /var/www/CasperJS/node_modules/casperjs/bin/casperjs /var/www/CasperJS/casper.js 2>&1",$output,$result);

echo(print_r($output)."<br/>");
echo $result."<br/>";
```

すると、`/usr/bin/env: node: Permission denied`というエラーが返ってきます。
パーミッションを`chmod 777`しても変わらないです。
```
$ sudo ls -l /usr/bin | grep env
-rwxrwxrwx.   1 root root       29048 10月 31  2018 env
```


#環境
Nginx + php-fpm + nodejs です。
```
CentOS Linux release 7.6.1810 (Core) 
anyenv 1.1.0
nodenv 1.3.0
node v12.0.0
casperjs 1.1.4
phantomjs 2.1.1
nginx version: nginx/1.16.0
```

自分だけで解決しようとかなり頑張って調べましたが、今回のエラーはもう私自身の力だけでは解決できなさそうです。

[このサイト](https://codehex.hateblo.jp/entry/2017/04/18/000000)に書いてあることも実行しましたが、

Linuxに詳しい方、よろしくお願いします。

---
追記

`visudo`の設定は以下の通り設定してあります。

```visudo
## Allows people in group wheel to run all commands
%wheel        ALL=(ALL)       ALL

## Same thing without a password
%wheel        ALL=(ALL)       NOPASSWD: ALL
```
出力結果　↓

```bash
/usr/bin/env: node: Permission denied
```

設定が有効か確認のため`visudo`の設定をコメントアウトしたところ以下のようになったので、正しく設定は反映されていると思います。

```visudo
## Allows people in group wheel to run all commands
# %wheel        ALL=(ALL)       ALL

## Same thing without a password
# %wheel        ALL=(ALL)       NOPASSWD: ALL
```
出力結果　↓

```bash
sudo: no tty present and no askpass program specified.
```

また、`/etc/php-fpm.d/www.conf`の設定は以下の通りです。

```conf
user = nginx                                                    
group = nginx
```
再掲になりますが、`etc/group`は以下の通りです。
```group
wheel:x:10:admin,nginx
```

PHPからCasperJSを実行すると『/usr/bin/env: node: Permission denied』になる

Webサイトのパフォーマンス改善のため、ページ別の読み込み時間をms単位で計測しようとしています。
あるURLリクエストを開始してから、アクセスした際にいちばんはじめにリクエストされるHTMLファイルの読み込みが終了するまでの時間です。CSSやJavaScript、画像等の読み込みが終了するまでの時間は考慮していません。

CUIで一日に数回、ページごとに計測を行ってデータを取りたいと思っております。

取得したいのはGUIのChromeやFirefoxのDeveloperToolや[gtmetrix.com](https://gtmetrix.com)などから取得できる[.har形式](https://dvcs.w3.org/hg/webperf/raw-file/tip/specs/HAR/Overview.html)の以下の様なデータです。（[Resouce Timing API](http://www.hcn.zaq.ne.jp/___/WEB/resource-timing-ja.html)）

- dns：DNS解決が完了するまでの時間
- connect：Webサーバーへの接続を開始してから完了するまでの時間
- send：リクエストを送信開始してから送信が完了するまでの時間
- wait：リクエストの送信が完了してからレスポンスの受信を開始するまでの時間
- receive：レスポンスの受信を開始してから受信が完了するまで時間
- ssl: SSL接続にかかる時間

PhantomJSとCasperJSを使って[netsniff.js](https://github.com/ariya/phantomjs/blob/master/examples/netsniff.js)を用いるとほぼ希望のことができそうなのですが、waitとreceiveしかデータを取得できないようです。
[https://code.google.com/p/phantomjs/issues/detail?id=1152](https://code.google.com/p/phantomjs/issues/detail?id=1152)

上記の全ての情報を取る必要はなく、waitとreceiveがとれているだけでもサーバー側の処理の見直しに動き出せるのでよいのですが、なるべくconnectやsslも取得したいと考えています。

connectやsslの時間もCUIで取得する方法はあるのでしょうか？

DNS解決時間、Webサーバへの接続時間、SSL接続時間を計測したい

現状、次のようなソースコードになっております。

`sort_button`

`daily_button`

のボタンをクリックした後は、ページ遷移を挟むのではなく、ajaxにて、ページが更新されるため、
現状は `wait` を用いて、実装しておりました。

しかし、かなりネストが深くなってしまい、コードの見通しが悪いのが気になっております。

こういった処理をここだけでもなく、色んなところにも記述しておりますので、上手くリファクタしたいです。

```
casper.start(login_url, function(){
    this.fillSelectors( "form[name='login_form']", {
            'input[name="user_name"]' : login_id,
            'input[name="password"]'  : password
        }, true
    );
});


casper.then(function () {
  casper.wait(3000, function(){
    this.thenOpen(sample_url, function(){
      casper.wait(3000, function(){
        this.thenClick(x(sort_button), function(){
          casper.wait(1000, function(){
            this.thenClick(x(daily_button), function(){
              casper.wait(5000, function(){
                this.capture('./piyo.png')
              });
            });
          });
        });
      });
    });
  });
});
```


もし良い方法が御座いましたら、教えて頂けませんか？
宜しくお願いいたします。

casperjsで、jsの処理を挟むため、waitを多様してしまったことにより、ネストが深くなる(コードあり)のですが良いリファクタ方法は御座いますか？

HTTPステータスコードをjavascript（casperjs）で取得する方法について、教えてください。
１．トップページにアクセス
２．検索ボタンをクリック
３．検索結果ページに遷移

という仕組みをテストするのですが、javascript（casperjs）で自動化しようとしています。

自動化自体はできたのですが、
検索結果ページのHTTPステータスコードを取得できずにいます。

casper.start( ＜トップページのURL＞ ,function(response){

    console.log(response.status);

});

上記のようにすると、トップページのHTTPステータスコードを取得できます。

casper.then( function(){

    this.evaluate( function(){

        document.querySelector( ＜検索ボタン＞ ).click();

    });

});

casper.then( function(response){

    console.log(response.status);

});

さらに上記のようにソースコードを続けたとします。
気持ち的には検索結果ページ（に遷移したとき）のHTTPステータスコードを取得してくれそうですが、できませんでした。あいかわらずトップページのHTTPステータスコードを取得しました。

どうしたらよいでしょうか？
casperjsのドキュメンテーションも一通り読みましたが、よさそうなメソッドが見つからず。
XMLHttpRequestとかに手をだそうかと思いましたが、どうもそれではできないようです。
this.evaluate内はあまりいじりたくない感じです。

どうかどなたかアドバイスをください。

HTTPステータスコードをjavascript（casperjs）で取得する方法について、教えてください。

casperjsでとある処理を規定回数繰り返したいと思っています
繰り返す回数が多く繰り返す度に関数に渡す値が変わるので、for文で規定回数分casper.wait()と関数を使用しようと思っています。
関数を省いて、まず意図したとおりに繰り返し処理が行われるか確かめたところ、うまくいきません。
utils.dump()でどういった動きをしているか確かめてみたところ、

１ utils.dump(start);
２ utils.dump(end);
--1-2を規定回数繰り返し--
３ casper.wait()
４ utils.dump('wait突入')
--3-4を規定回数繰り返し--

startとendの内容が規定回数分表示され終わってから、casper.wait()内の utils.dump('wait突入');だけが規定回数繰り返されていました。

理想としては、
１ utils.dump(start)
２ utils.dump(end)
３ casper.wait()
４ utils.dump('wait突入')
--1-4を規定回数繰り返し--

上記1-4を1セットとして、規定回数繰り返したいです。

以上、ご回答を宜しくお願いいたします。
```
var casper = require('casper').create();
var utils = require('utils');

casper.start();
//指定のURLへ遷移する
casper.open('http://???.co.jp/');

//検索条件設定後、検索開始
casper.then(function () {

	for(var start = 0; start < 50; start++){
		for(var end = 0; end < 50; end++){
			if(start == end){
				continue;
			}
			utils.dump(start);
			utils.dump(end);

	        casper.wait(100, function() {
               utils.dump('wait突入');
			});
		}
	}
});

//処理の実行
casper.run();
```

CasperJsで繰り返し処理

phpからcasperjsを実行してその結果をwebページ上で表示しようと思っているのですが、以下のようなエラーが表示されうまくいかないです。

Array ( [0] => /usr/bin/env: node: Permission denied )

コマンドラインからphpを実行した場合は表示されます。
webページからみられる方法があれば教えていただきたいです。

###該当のソースコード


test.js
```javascript
var address = "https://www.google.co.jp/";

var casper = require('casper').create({
  verbose: true,
  logLevel: 'error',
  pageSettings: {
    loadImages: false,
    loadPlugins: false
  }
});

casper.start(address, function() {
    this.echo(this.getTitle());
});

casper.run();
```


test.php
```
<?php

putenv("PHANTOMJS_EXECUTABLE=./node_modules/phantomjs/bin/phantomjs");
exec('./node_modules/casperjs/bin/casperjs test.js 2>&1',$output);

print_r($output);

?>
```

casperjsの実行結果をwebページで表示

CasperJsであるページ内にあるpタグを全てファイル出力する方法がわかりません。
document.querySelector('p')と指定してpタグを指定していますが、取得できないので方法を教えていただきたいです。
宜しくお願いいたします。

```
//casperオブジェクトを生成
var casper = require('casper').create();

var fs = require('fs');
var AnchorArrays = [];

casper.start('http://test.com/', function() {
	//ニュース・週間アクセスランキングを取得(配列として取得)
	AnchorArrays = this.getElementsAttribute('#top-side-column > div.side-rank > ul > li > h4 > a', 'href');
	
	//取得したニュース・週間アクセスランキングを正しいURLに成型
	for(var i = 0; i < AnchorArrays.length; i++){
		AnchorArrays[i] = "http://testnews.com" + AnchorArrays[i];
	}
});

casper.then(function() {
	
	//取得した内容（ニュース・週間アクセスランキング）を表示する
	require('utils').dump(AnchorArrays);
	
	//ランキングの1番目に遷移
	this.open(AnchorArrays[0]).then(function() {
		//画面キャプチャ
		this.capture('test_01.png');
	});
	
	//指定の要素を取得
	var html = this.evaluate(function() {
		var links = document.querySelector('p');
		return links.innerHTML;
	});
	//取得した内容をhtmlで保存
	fs.write('test.html', html, 'a');

});

//処理の実行
casper.run();
```

CasperJsで指定したタグを取得してファイル出力する方法

### 前提
UbuntuにphantomJSとcasperJSをインストールして管理画面の操作をしています。

### 発生している問題
特定のサイトに対し、casper.openができなくなってしまいました。
例えば下記のコードは普通にgoogle.comのソースを表示します。

```
var casper=require('casper').create({
	viewportSize:{
		width: 1920,
		height: 1080
	}
	,pageSettings: {
		userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:95.0) Gecko/20100101 Firefox/95.0'
	}
});


casper.start();

casper.then(function(){
	url='https://www.google.com/';
	this.open(url);
});

casper.then(function(){
	html=this.getHTML();
	this.echo(html);
});

casper.run();
```

ところが

```
url='http://shop.fuzoku-datacenter.com/';
```
とすると長時間待たされた結果、
```
<html><head></head><body></body></html>
```
と返されてしまいます。
userAgentを色々変えてみたり、casper.page.onAlertやcasper.page.onConfirmの可能性も試してみましたがうまく行きません。
どうしたら良いか、ご教示いただけたらありがたいです。




### 環境
Ubuntu 18.04.1 LTS
phantomJS 2.1.1
casperJS 1.1.4



以上、よろしくお願いいたします。