GoogleFinanceで日本株の「財務諸表」の年間データをGASでスクレイピングするには？

Question

実現したいこと

GoogleFinanceで日本株の情報をGASでスクレイピングをトライ中です。
(GoogleFinanceはスクレイピングを許可しているサイトと認識しています)
例えばトヨタ自動車(コード:7203)を表示すると当日のデータや財務諸表（損益計算書・貸借対照表・キャッシュフロー）が
閲覧できます。画面には「四半期」と「年間」ボタンがありますが、取得できない「年間」分を取得できるようにしたい。
「年間」分を取得できる方法をご教示・アドバイスを願えればと思います。
トヨタ自動車

発生している問題・分からないこと

現状：GASでCheerioライブラリを使用して、URLデータから「四半期」データは取得できる見込ですが、「年間」分が取得できません。
「年間」ボタンをクリックして画面を確認しながらでも「四半期」データしか取得できません。

動的サイトではGASでは取得できないと聞き、PhantomJsCloudライブラリを使用してみましたが、やはり「年間」データは取得できません。
（ただし、手動でHTML文をドキュメントにコピペすると「年間」データを見ることができます。自動では取得できない？）

実際には、「四半期」と「年間」を切り替える操作もGASではできていないので、これも次の問題ですが、
画面上では見えて、手動コピペでは年間データも見えるので、先にこれができてからかと思います。
GASもスクレイピングも初心者で、やっていることが完全には理解できていませんが、実現できるアドバイスをいただければと思います。

参考にさせていただいたサイト：
PhantomJsCloud
Cheerio
Gas スクレイピング

該当のソースコード

function get_GoogleFinance_Scraping() {  

  const url = 'https://www.google.com/finance/quote/7203:TYO?hl=ja';//目的のURL

  //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する
  //const html = phantomJSCloudScraping(url);//PhantomJsCloudで読み込む

  const html = UrlFetchApp.fetch(url).getContentText('UTF-8');  
  //console.log('html.length=',html.length);

  //Cheerioライブラリ利用
  const $ = Cheerio.load(html);  

  //損益計算書・貸借対照表・キャッシュフローのデータ抽出
  let $div = $('td.QXDnM');//データ
  let values = [];
  $div.each((index, element) => {
    values.push($(element).text())
  });
  console.log('values.length=',values.length,'/values=',values);//データをログ出力

}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

四半期データは取得できますが、年間データは取得できません。

補足

「四半期」のサイト画面とログ出力の例
「年間」のサイト画面とコピペの例
の図を添付します。

Answer 1

GoogleFinanceはスクレイピングを許可しているサイトと認識しています

どこでそのような認識を得たのでしょうか。当該サイトの免責事項には、以下のようにあります。

ユーザーは、Google の書面による事前の許可なく、提供されるいかなるデータまたは情報を複製、修正、再フォーマット、ダウンロード、保存、再生成、再処理、送信、再配布しないこと、および営利目的で使用しないことに同意するものとします。

Comments

[toshi_G13]

maisumakunさん、ご回答ありがとうございました。
直接Googleに書面で問い合わせはしておりませんが、google.com/robots.txtで確認すると
/financeは許可となっているので、スクレイピング自体は禁止されていないと思っています。
スクレイピングに関しては、いろいろな考え方や事例があるのは知っていますが、相手方サーバーに
大きな負荷とならなければ目こぼし状態ということで、やっている人が多いかと想像しています。

いろいろやってデータが取れないので、今は私のスキルの問題と思っていますが、何か制約事項
があるのかもしれないと、Googleに問い合わせをしました。回答してくれるかどうか不明ですが、
ＮＧという回答や、取れないデータであるとわかればギブアップします。

[maisumakun]

robots.txtで規定するような無差別的なクロールと、ターゲットを決めて行うスクレイピングでは、法的バックグラウンドも違ってきます。

[toshi_G13]

maisumakunさん、再度のご回答ありがとうございました。
下記を参考にあらためてクロールとスクレイピングの違いを見ました。
https://qiita.com/Octoparse_Japan/items/48d318fe0bb5d8b17367
robots.txtの結果はクローラーに対する許可で、データ利用目的のスクレイピングは免責事項にひっかかるということですね。ごっちゃにというか都合よく解釈していました。
結局は、書面で確認するのが一番ということですね。個人相手にまともにＯＫしてくれるかな？という懸念はありますが、考えてみます。