質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

3回答

1447閲覧

外部サイトへのJSスクレイピング法について

Madreader

総合スコア13

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2018/06/21 09:50

編集2018/06/21 09:56

外部サイトのHTMLをJSを使ってHTMLすべてをスクレイピングしたいのですが、
外部サイトのURLをdocument.getElementsByTagName(*);とどのように用いれば
スクレイピングできるようになるのかわかりません。

JSの基本がわかってなくて申し訳ないですが
方法を御指摘くださると幸いです。

参考URLでのヒントだけでもいいので添付があれば読みます。
よろしくおねがいします。

※スクレイピング環境はBloggerを用いてます。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/06/21 09:56

クロスドメイン制約があるページですか?それともないページですか?
guest

回答3

0

Webサイトに置いたJavaScriptから他サイトのスクレイピングを行うことは、基本的にできません

というのも、ブラウザ内から通信して取得可能なHTMLは、別サイトの運営者がAccess-Control-Allow-Origin:で許可している場合を除けば、同じドメイン内のリソースに限られるからです。

投稿2018/06/21 09:57

maisumakun

総合スコア145121

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Madreader

2018/06/21 10:24

納得いきました。即答ありがとうございます。
guest

0

ベストアンサー

CORS

JavaScript では CORS という規約によって通信に制限がかかっています。
CORS はデフォルトでは、外部ドメインへの通信を許可しません。
これは、勝手に自サイトの情報を他サイトに使われて悪用されないようにする為です。
しかし、それでは外部ドメインの自サイト同士でも通信出来なくなってしまうので、サーバ側から Access-Control-Allow-Origin を指定する事で、指定されたドメインの通信を許可する事が出来ます。

対策

対策は「対象サーバ側で Access-Control-Allow-Origin を指定して貰い、自サイトのドメインを許可してもらう」しかありません。
外部サーバ管理者が自分なら、自分で設定して下さい。

管理者が他人なら、サーバ管理者に連絡し、「貴サイトから引き出したい情報」「自サイトでの用途」を説明して、サーバに設定して貰って下さい。
当然ですが、自分が相手なら許可する程度の説得力は必要です。

Re: Madreader さん

投稿2018/06/21 10:17

編集2018/06/21 11:20
think49

総合スコア18156

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Madreader

2018/06/21 10:28

わかりやすい説明で理解できました。JS以外のスクレイピングを検討してみます。 ありがとうございました。
guest

0

基本的にはブラウザのjsがする仕事ではないので、
クローラーでダウンロードしてから解析ツールで処理するか
サーバーサイドのプログラムでやるかのどちからではないでしょうか

投稿2018/06/21 10:21

yambejp

総合スコア114583

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問