質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

React.js

Reactは、アプリケーションのインターフェースを構築するためのオープンソースJavaScriptライブラリです。

Q&A

解決済

2回答

1717閲覧

Javascript、動的なイベントのトリガーを特定するには?

teraha

総合スコア59

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

React.js

Reactは、アプリケーションのインターフェースを構築するためのオープンソースJavaScriptライブラリです。

0グッド

0クリップ

投稿2021/05/31 08:04

Puppeteerでサイトへアクセスし、スクリーンショットを保存するというコードを書いています。

Javascript

1const element = document.getElementById('xxx'); 2element.parentNode.removeChild(element);

上記のようなコードで、広告などの不要な要素を削除しているのですが
削除してもすぐに同じ要素が復活してしまうものがあります。

サイト側のJavascriptでイベントリスナーなどで要素を監視していて、動的に要素を追加しているのだと思います。

Puppetterではなく、普通のChromeブラウザでデベロッパーツールを開き、Elementsタブから要素を右クリックして「Delete Element」を実行した場合も現象は再現します。

・どのように要素の変更を監視しているのか?
・イベントが発火した時に具体的にどのようなコードが走り削除した要素が復活するのか
を特定したいです。

「PuppeteerとDOMの削除」に限らず、
たとえば、「ボタンをクリックしたらモーダルが開く」みたいな動きがあったときに
・どこでクリックの有無を監視しているのか?
・クリックが発生した時にモーダルが開くのはコードのどの部分が該当するのか?
・そのコードはhtmlに<script>タグでベタ書きされているのか、外部のjsファイルを読み込んで実行しているのか?
みたいなことを、第三者が作成したサイトに対して調べることは可能でしょうか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yambejp

2021/05/31 08:18

広告の削除自体が規約違反なのでは?
Lhankor_Mhy

2021/05/31 08:34

クリックイベントなんかは、デベロッパーツールに書いてませんでしたっけ?
teraha

2021/05/31 09:31

トリガーになっているDOMが特定できていれば、デベロッパーツールのElements で該当DOMを選択すれば Event Listenersというのが確認できます。 しかし、トリガーになっているDOMが特定できていないとこの手段は使えません。 たとえば「ボタンをクリックするとモーダルが開く」の例だと、ボタン自体にクリックイベントが設定されていれば確認できます。 しかし、ボタンの親の親の親要素にクリックイベントが設定されているみたいなケースだとボタンのDOM自体を調べてもどこからイベントを継承しているのか特定が難しいです。
Lhankor_Mhy

2021/05/31 09:59

回答にあるような、祖先にさかのぼってリスナを見たり、ブレイクポイントを置くやり方がダメとなると、他には難しいでしょうね。
guest

回答2

0

「dev tools chrome Event Listeners」でググったところ、以下のような記事がありました。
Chrome DevToolsでclickイベントが要素に設定済みか調べる3つの方法 | iwb.jp

また、要素の削除については、もしかしたらMutationObserverを使っているのかもしれません。

投稿2021/05/31 09:26

Lhankor_Mhy

総合スコア36156

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

teraha

2021/05/31 15:46

Event Listener Breakpointsを片っ端から試したのですが、原因を特定できず。 MutationObserverはDOMの削除も検知できるみたいですね。 これが原因である可能性は高そう。
guest

0

自己解決

トリガーがどう設定されているのか特定はできませんでしたが、ワークアラウンドを発見。

・ターゲットの要素: DOMを削除しても復活する
・ターゲットの親要素: DOMを削除しても親子ともども復活する
・ターゲットの親の親の要素: 同上

これを繰り返して、10段階上の親要素までさかのぼって削除すれば復活しないことを発見

・11段階上の親のinnerHTMLを取得
・11段階上の親のinnerHTMLを空白に
・11段階上の親のinnerHTMLを再挿入

10階層分のデータをごっそり消して、innerHTMLで再挿入してやると、DOMは再現されるけどイベント関係は再現されないみたい。
イベントの因果関係が消えたので、ターゲットのDOMを単体で削除しても復活しなくなりました。

投稿2021/05/31 16:02

teraha

総合スコア59

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

teraha

2021/05/31 16:07

ちなみに、Chromeのデベロッパーツールで10階層上の親のEvent Listenersを確認したが、イベントリスナーは設定されていませんでした。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問