PHP（Goutte）でフォームを送信し、結果を取得したい

Question

###前提・実現したいこと
JAL の運賃一覧を取得するシステムを作っています。

JAL運賃検索ページ

PHPのGoutte というライブラリで作成したところ、検索から一覧のページへ進めず、悩んでいます。
（特にGoutteにこだわっているわけではありません）

リストライブラリページ
Goutte

Goutteを利用- リストする際に参考にした記事

• Goutte を使い倒すためのメモ
• Webスクレイピングが捗るGoutteを使ってみる

###発生している問題・エラーメッセージ

現在このリクエストを処理できません。
HTTP ERROR 500

###該当のソースコード

<?php
// Goutte の読み込み
require_once './vendor/autoload.php';
use Goutte\Client;
 
// Goutte クライアントを作成
$client = new Client();

// ウェブサイトにリクエストを送信
$crawler = $client->request('GET', 'https://www.5971.jal.co.jp/rsv/LFSSearchDispatch.do');

// フォームを取得してデータを入力
$form = $crawler->selectButton('検索する')->form();
$form['segmentType'] = '1';
$form['departureAirportCode'] = 'HND';
$form['arrivalAirportCode'] = 'CTS';
$form['arrivalAirportCode'] = 'CTS';
$form['seatClass'] = 'all';
$form['departureMonth'] = '3';
$form['departureDay'] = '5';
$form['departureTime'] = '00002359';
$form['adult'] = '1';
$form['child'] = '0';
$form['infant'] = '0';

// フォームを送信
$crawler = $client->submit($form);

原因や解決方法があれば、お願いいたします。

Comments

[seastar3]

autoload.php の設定や使える関数と、clientオブジェクトのrequest関数の機能が分かりません。指定するjalのwebページはxml的に操作するのか、簡単にテキスト検索や正規表現処理で操作するのか説明してもらえませんか。さらに$formコレクションの仕様も分かりません。

Answer 1

Firefox + WebDeveloper でフォーム部分を表示してみました。

項目が足りていなかったりしますね。

JALのページでソースを見ると

<form name="roundtripFrm" action="" method="post"> method が post なのに、↓ GET で送信していたり…

$crawler = $client->request('GET', 'https://www.5971.jal.co.jp/rsv/LFSSearchDispatch.do');

Comments

[t.tohda]

Chrome にWebDeveloperを入れて確認しました。
非常に使いやすいツールを教えていただき、ありがとうございます！

主な原因
・フォームで送信する項目が足りていなかった
・認証用トークンがあった
・実際に動かすべきフォームは非表示にされている「LFSSearchForm」だった

javascript の挙動をひとつずつ追いながら、Goutteを動かしていってなんとか目標のページが取得できました。

[退会済みユーザー]

解決してよかったです。WebDeveloper はかなり重宝しています。