PowerShellでサイトからファイルをダウンロードしたい

Question

http://hesonogoma.com/stocks/japan-all-stock-prices.html

http://hesonogoma.com/stocks/japan-all-stock-data.html#

上記のサイトからPowerShellにて、
CSVファイルをダウンロードしたいのですが、なかなかうまくいきません。

どのようにすれば取れるでしょうか。

よろしくお願いします。

Comments

[Y.H.]

「なかなかうまくいきません。」 どういうコードを書いてどういう風にうまく以下なかったのかを質問に追加してください。 動くコードがほしいだけ(まる投げの質問)ではないですよね？

Answer 1

はじめまして！まさにそのサイトの管理人のこもりばんと申します。
興味を持って頂き、ありがとうございます！

まずは前提事項からですが、既存のサービスではCSVファイルを自動取得することはできません。
詳しい処理方式は割愛しますが、CSVファイルをそもそも提供していないためです。

対して、この度、無料のトライアル運用を開始した会員向けファイルダウンロードサービスでは、
CSVファイルのダウンロード提供とプログラムによるファイルの自動取得を許可しています。

データフォーマットとしては、CSV形式とJSON形式に対応しています。
文字コード等、詳細は下記で公開している「readme_tech.txt」ファイルをご参照下さい。

日本株全銘柄 株価一覧表・投資指標データ：会員向けファイルダウンロードサービス

なお、1時間に30回のHTTPリクエストを上限とさせて頂いています。
高頻度のデータ取得やスクレイピングは、他のご利用者の迷惑になりますのでお控え下さい。

最後に、PowerShellではありませんが、C#のサンプルコードを記載しますので、ご参考になさって下さい。
必要なID/PWは上記のページに記載しています。

PowerShell版を作成されましたら、共有して頂けると大変嬉しいです！
よろしくお願い致します。

var uri = new Uri("https://hesonogoma.com/stocks/download/csv/japan-all-stock-prices/daily/japan-all-stock-prices.csv");
using (var webClient = new System.Net.WebClient())
{
    webClient.Credentials = new NetworkCredential("yourID", "yourPW");
    webClient.DownloadFile(uri, @"C:\Temp\japan-all-stock-prices.csv");
}

var uri = new Uri("https://hesonogoma.com/stocks/download/csv/japan-all-stock-prices/daily/japan-all-stock-prices.json");
using (var webClient = new System.Net.WebClient())
{
    webClient.Credentials = new NetworkCredential("yourID", "yourPW");
    webClient.DownloadFile(uri, @"C:\Temp\japan-all-stock-prices.json");
}

Answer 2

Powershellのバージョンが記載されてませんがPowerShell 3.0以上であればInvoke-WebRequestコマンドレットで指定したURLのファイルを取得（ダウンロード）可能です。

Invoke-WebRequest -Uri 対象URI -OutFile 保存するローカルパス