質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
Electron

Electronは、HTML5とNode.jsというWebの技術を用いてデスクトップアプリケーションを作成できるクロスプラットフォームな実行環境です。

Node.js

Node.jsとはGoogleのV8 JavaScriptエンジンを使用しているサーバーサイドのイベント駆動型プログラムです。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

解決済

1回答

1866閲覧

puppeteerのpage.evaluate()におけるスリープ処理

ghost3862

総合スコア0

Electron

Electronは、HTML5とNode.jsというWebの技術を用いてデスクトップアプリケーションを作成できるクロスプラットフォームな実行環境です。

Node.js

Node.jsとはGoogleのV8 JavaScriptエンジンを使用しているサーバーサイドのイベント駆動型プログラムです。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

0クリップ

投稿2021/09/08 11:49

前提・実現したいこと

electronのメインプロセス上でpuppeteerを使ってスクレイピングを行い、取得したデータをレンダラープロセス上で表示するスクリプトを書いています。
スクレイピング対象のページは無限スクロールで、投稿を上から順に、描画待ちのwait処理を挟みながら取得しようとしています。

発生している問題・エラーメッセージ

下記のようなコードを書いていたのですが、wait処理の書き方によって意図通りに動作しない(おおよそ最初のページ描画時にロードされているものしか取得できない)ことに気が付きました。
挙動を見るとスクロールが描画に追いついてしまっているので、おそらくwait処理が行えていないことが原因だと思うのですが、なぜでしょうか?

  1. page.evaluate内でsetTimeoutを使う
  2. メインプロセスでpage.waitForTimeoutを使う

該当のソースコード

let posts = new Array(); for(let i = 0; i < 10; i++){ posts = await page.evaluate(async (value) => { // 投稿の取得 let _posts = [...document.querySelectorAll("#post")]; // スクロール document.scrollingElement.scrollTop = value*500; // DEBUG console.table({ postsLength: _posts.length, scrollHeight: document.scrollingElement.scrollHeight, scrolltop: document.scrollingElement.scrollTop }); // 描画待ち(1.) await (async () => { new Promise(resolve => { console.log('1秒停止') setTimeout(resolve, 1000); }); })(); // オブジェクト化 return _posts.map((e) => { let x = new Object(); (略) return x; }) }, i); // ↓こっちなら正常に動作する(2.) // await page.waitForTimeout(1000); }

補足情報(FW/ツールのバージョンなど)

node.js 16.7.0
puppeteer 10.2.0
electron 13.2.3
chromium 93.0.4577.0

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

解決しました。1.の中でPromiseをreturnしていませんでした。

投稿2021/09/08 13:50

ghost3862

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問