Q&A
まずは当該サイトのapiが公開されているか確認するところからですね
公開されていなければ実際にボタンをおしてみて
どんなデータが流れていて、どういう形式が返ってきているかを検証し
エミュレートするのが妥当です
逆にそのあたりを嫌ってそういう仕様にしている可能性もあるので
すべてが拾えると思わないほうがよいでしょう
PHPでスクレイピングをしているんですけど、「もっと見る」「続きを読む」などのボタンを押さないと表示されない要素はどうやったらスクレイピングできますか？
※要素の検証をしても、最初は存在しません
http://lineq.jp/my/1110877/answer
このページの回答をすべて取り出してみたいです！
回答3件
0
あ、ごめんなさい、追加修正依頼に書いちゃいました
念のため回答に転記しておきます
まずは当該サイトのapiが公開されているか確認するところからですね
公開されていなければ実際にボタンをおしてみて
どんなデータが流れていて、どういう形式が返ってきているかを検証し
エミュレートするのが妥当です
逆にそのあたりを嫌ってそういう仕様にしている可能性もあるので
すべてが拾えると思わないほうがよいでしょう
投稿2016/06/20 09:33
総合スコア114843
0
webdriverなどで実際にボタンをクリックさせるとかでしょうか。
facebookがphp向けのものを公開してくれています。
https://github.com/facebook/php-webdriver
具体的には下記のwikiが該当する部分になるかと思います。（要素をクリックする）
投稿2016/06/20 09:21
総合スコア121
0
方法は取得先のサイトにより異なりますが、基本的にできるはずです。
一般的なのは、続きのリンクをクリックしたときにajaxでXMLなりJSONなりで取得しているはずですので、それと同じパラメータで読みこめばできるはずです。
ただ、具体的な方法は実際にサイトを見てみないとわかりません。
投稿2016/06/20 09:12
総合スコア1939
あなたの回答
tips
プレビュー
