1日24回、特定のwebページの変動する値を取得したいです。

X時00分(一日24回)に、「特定のwebページの決まった場所にある変動する値」を取得したいです。
上記の「特定のwebページの決まった場所にある変動する値」というのは、例えば、Youtube上の特定の動画の再生回数等です。
取得した値は表計算ソフトにまとめたいと思っています。
ソース上ではどのコードがその変動する値かはわかるのですが、その値を取得し、どこかへコピーアンドペーストをする方法がわかりません。
ご教示いただけると幸いです。

y_waiwai

2021/09/23 22:35

まずはその値を取得するコードを提示しよう。

行動規範の内容に同意します

回答2件

ベストアンサー

例えば、Youtube上の特定の動画の再生回数等です。

参考回答: https://teratail.com/questions/105738#reply-161944

Google、Amazon、5chなんかはスクレイピング嫌いで有名で、
利用規約で禁止していたりします。
IPアドレスやアカウント指定でのBANされたくなければやらないほうが良いでしょう。

YouTubeはGoogleのサービスなので勿論スクレイピングは使えません。
ではどうやるのか？

GoogleはWebAPIというHTMLとかいうクソみたいなフォーマットを必死に解読しなくても
機械が最初から扱いやすいデータ構造でデータを返してくれるサービスを用意してくれています。

この動画の再生回数を取得するという点で少し調査してみましたが、
YouTubeの管理画面などから自身の動画のIDを取得してきて
videos/listを利用するタイミングでid値に値を付与してやれば再生回数も取得出来そうですね。

取得した値は表計算ソフトにまとめたいと思っています。

候補としては下記

Google Spread Sheetを使う

Google Sheets API を使ってスプレッドシートを操作

ExcelのVBAマクロからターミナルの任意コード実行を介して文字列として受け取り解析してセルに保存していく

私の知っているExcel2007時点ではこれ一択、代替手段も増えたし難易度が高いので非推奨

Python等の言語からExcelシートを操る(予め雛形作って、文字列を書き込める下準備をしておくと良いかもね)

ExcelにPythonが搭載？その後 - xlwings を使おう

CSVファイルとして吐き出して、Excel等で取り込む

昔ながらの手法、手作業が入るので何のための自動化なんだ？イミフ

Excelはコピペする際タブで右のセルへの貼付け指定になるので、TSV形式でクリップボードに保存する

こちらも昔ながらの手法なのであまり良くないが、発想は分かりやすい
Macはpbcopyコマンドが使えるし、Windowsはcripコマンドが使える
多くのスクリプト言語にはターミナル用のコマンド実行機能が付いているので
PythonなんかでTSV文字列を生成して、subprocess等で実行すれば良い
後はExcelを開いてCtrl+Vでベタッと貼り付けるだけ

投稿2021/09/24 04:54