質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

HTTPS

HTTPS(Hypertext Transfer Protocol Secure)はHypertext Transfer プロトコルとSSL/TLS プロトコルを組み合わせたものです。WebサーバとWebブラウザの間の通信を暗号化させて、通信経路上での盗聴や第三者によるなりすましを防止します。

Node.js

Node.jsとはGoogleのV8 JavaScriptエンジンを使用しているサーバーサイドのイベント駆動型プログラムです。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

1回答

1362閲覧

cheerio-httpcliで時間差で表示される要素を取得したい

退会済みユーザー

退会済みユーザー

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

HTTPS

HTTPS(Hypertext Transfer Protocol Secure)はHypertext Transfer プロトコルとSSL/TLS プロトコルを組み合わせたものです。WebサーバとWebブラウザの間の通信を暗号化させて、通信経路上での盗聴や第三者によるなりすましを防止します。

Node.js

Node.jsとはGoogleのV8 JavaScriptエンジンを使用しているサーバーサイドのイベント駆動型プログラムです。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2020/10/20 00:35

編集2020/10/20 01:59

前提・実現したいこと

node.jsにて、cheerio-httpcliを用いてwebスクレイピングを行っています。
今までは下記ソースコードで問題なく実用できていたのですが、ページを読み込んだあとにすぐにページ内容を返すため、最初に読み込んでから時間差で表示される要素がある場合に上手く読み込めません。
例:https://baseball.sports.smt.docomo.ne.jp/result/games/live_2020101902.html<span id="pitching_chart_icon_1" class="straight strike" style="top: 27.2%; right: 48%; display: block;">1</span>の部分(配球チャート)
ヘッドレスブラウザを使わない手法が好ましいのですが、うまく取得する方法はありませんでしょうか?

該当のソースコード

node.js

1var client = require('cheerio-httpcli'); 2async function gethtml(url){ 3 return new Promise(function (resolve) { 4 client.fetch(url, {}, function (err, $, res, body) { 5 resolve($); 6 }); 7 }) 8} 9const geturl = "https://baseball.sports.smt.docomo.ne.jp/result/games/live_2020101902.html" 10gethtml(geturl).then(html => { 11 console.log(html("#pitching_chart_icon")) 12 console.log(html("#pitching_chart_icon_1"))//ここが0になる 13})

試したこと

公式のドキュメントを一通り目を通しましたが、該当するオプションなどは見当たりませんでした。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

動的なWEBサイトのスクレイピングをしたいなら、Puppeteer とかが有名ですね。

投稿2020/10/20 09:16

draq

総合スコア2577

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問