質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

3回答

2643閲覧

ログインフォームの submit が Javascript で書かれているサイトへのスクレイピングについて

rera

総合スコア109

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

0クリップ

投稿2016/05/28 18:11

効率化を測るために一つのサイトに情報を纏めようと思い、とりあえずスクレイピングしようとなったのですが
submit 部分と、認証周りが javascript で書かれているため私の技術ではスクレイピングすることができません。

該当サイトは https://ukerukun.jp/u/r/Fs00040s.jsp こちらになります。

bash

1curl -L -c cookie -d "mail_addr=<id>" -d "pswd=<pw>" "https://ukerukun.jp/u/r/Fs00040s.jsp" 2こんなことをやったあとに 3 4curl -L -b cookie "https://ukerukun.jp/u/r/Fs00040s.jsp?" 5こんなことをやってみましたがダメでした。

回答してくださる方は上記サイトのアカウントがないと思いますので絶対的な回答は難しいとは思われますが
何かヒントのようなものをいただけると助かります。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

phpはサーバーサイド言語のため、javascriptを評価することができません(特に、レンダリングを待つようなサイトでは特に、です)
そのため、javascriptの実行にはブラウザを使用します。その中でもスクレイピング用に作成された、画面に表示されないものをヘッドレスブラウザと言います。それらは、node.jsで記述されていて、Phantom.js、Casper.jsなどが有名です。

試しに、Nightmare.jsなどを試されてはいかがでしょうか。
インストール( nodejsインストール後、npm install nightmare )してから、下記内容を記載した.jsファイルを作成し、
cmdから「node (ファイル名)」で実行します。

nodejs

1var Nightmare = require('nightmare'); 2var nightmare = Nightmare({show:true}); 3 4 nightmare 5 .goto('https://ukerukun.jp/u/r/Fs00040s.jsp?__u=1509455993398-5685220842537174682') 6 .wait(3000) 7 .click('input[name="mail_addr"]') 8 .wait(2000) 9 .type('input[name="mail_addr"]', 'ID') 10 .type('input[name="pswd"]','ID') 11 .click('input[name="login"]') 12 .then((link) => { 13 //ここにログイン後の処理が入ります 14  }) 15 .end(); 16

投稿2017/10/31 13:42

KeijiKawashima

総合スコア47

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

Nightmare (URL) を試してみては?

投稿2016/05/29 06:54

q1701

総合スコア274

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

Chrome の DevTool には、リクエストを curl で表現してくれるものがあるので、それを参考にすれば、curl の中身は大体設定できるかと。
ただ、動的に javascript で生成されている箇所もありそうなので、それは javascript の解析が必要です。

投稿2016/05/28 23:05

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問