質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

0回答

1153閲覧

WEBスクレイピングでどのHTML要素を取得すればよいのかわからない

yarukkyanai

総合スコア10

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2020/09/02 10:45

編集2022/01/12 10:55

前提・実現したいこと

任意のサイトからデータを取得する、
スクレイピングという方法を勉強しています。

過去にいくつか質問させていただいた時のサイトでは、

スクレイピングで情報取得したい箇所を含むサイトを右クリック>「検証」 >表示される左上の□に↑のアイコン(Select an element in the page to inspect it)を左クリック >任意のスクレイピングで取得したいデータが表示されている箇所を左クリック

で、HTMLがハイライトされ、XPATHをはじめとした要素が取得でき、
取得した要素によってスクレイピングできました。

しかし、下記の関数プログラミングのスクレイピングを試したところ、
https://stackoverflow.com/questions/61263097/google-sheets-yahoo-finance-importxml-text-not-td-data
なぜ、

//h2[@data-reactid='139']/../p

を関数の後半部分に入れるXpathに指定するのかわかりません。

自分の理解では、
次の画像のハイライトされた部分の要素を入れるべきと思い、関数に入れたところ以下のエラーになってしまいます。
イメージ説明
どのXpathを拾ってくるべきなのか、アドバイスいただければ幸いです。
よろしくお願いいたします。

発生している問題・エラーメッセージ

ハイライトされている部分のXPathをコピーして代入した場合

=IMPORTXML("http://finance.yahoo.com/quote/AAPL/profile","//*[@id='Col1-0-Profile-Proxy']/section/section[2]/h2")

出力されたエラー

#N/A(インポートしたコンテンツは空です)

試したこと

ハイライトされている箇所のClassの情報を入れてみましたら、

=IMPORTXML("http://finance.yahoo.com/quote/AAPL/profile","//*[@class="Fz(m) Lh(1) Fw(b) Mt(0) Mb(18px)"])

エラーでなく、

Description Corporate Governance

と出力されました。

補足情報(FW/ツールのバージョンなど)

Googleスプレッドシートを使っています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

meg_

2020/09/02 11:03

finance.yahoo.comはスクレイピングしても良いサイトですか?
yarukkyanai

2020/09/02 11:27

ありがとうございます。 リンクのQ&Aサイトをみていただけなので、 スクレイピングしてもよいかどうかというマナー?があることしりませんでした。 サイトで禁止されていたらできないのでしょうか?
meg_

2020/09/02 12:07

各サイトの利用規約を読まれることをお勧めします。禁止されているサイトで行えば問題になることもあり得ます。(技術的に可能かどうかとは別の話です)
yarukkyanai

2020/09/03 08:01

ありがとうございます! 技術の前に大切なこと、サイトの中で確認すべき場所お教えくださり、助かりました! すぐ確認します!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問