C#でサイトのCSVを落としてきたい

題のとおりなのですが、C#でCSVファイルをダウンロードしてきたいのですが
うまくいきません。
どうすれば取得できるでしょうか。
よろしくおねがいします。

C#
1using System;
2using System.Collections.Generic;
3using System.ComponentModel;
4using System.Data;
5using System.Drawing;
6using System.Linq;
7using System.Text;
8using System.Threading.Tasks;
9using System.Windows.Forms;
10using System.IO;
11using System.Net;
12
13namespace CSVDL
14{
15    public partial class Form1 : Form
16    {
17        public Form1()
18        {
19            InitializeComponent();
20        }
21
22        private void button1_Click(object sender, EventArgs e)
23        {
24            string FileName = @"C:\japan-all-stock-data.csv";
25            WebClient client = new WebClient();
26            byte[] data = client.DownloadData("http://hesonogoma.com/stocks/japan-all-stock-data.html");
27            File.WriteAllBytes(FileName, data);
28        }
29    }
30}
31

行動規範の内容に同意します

回答3件

はじめまして！まさにそのサイトの管理人のこもりばんと申します。
興味を持って頂き、ありがとうございます！

まずは前提事項からですが、既存のサービスではCSVファイルを自動取得することはできません。
詳しい処理方式は割愛しますが、CSVファイルをそもそも提供していないためです。

対して、この度、無料のトライアル運用を開始した会員向けファイルダウンロードサービスでは、
CSVファイルのダウンロード提供とプログラムによるファイルの自動取得を許可しています。

データフォーマットとしては、CSV形式とJSON形式に対応しています。
文字コード等、詳細は下記で公開している「readme_tech.txt」ファイルをご参照下さい。

日本株全銘柄株価一覧表・投資指標データ：会員向けファイルダウンロードサービス

なお、1時間に30回のHTTPリクエストを上限とさせて頂いています。
高頻度のデータ取得やスクレイピングは、他のご利用者の迷惑になりますのでお控え下さい！

最後にC#のサンプルコードを記載しますので、ご参考になさって下さい。
よろしくお願い致します。

C#
1var uri = new Uri("https://hesonogoma.com/stocks/download/csv/japan-all-stock-prices/daily/japan-all-stock-prices.csv");
2using (var webClient = new System.Net.WebClient())
3{
4    webClient.Credentials = new NetworkCredential("yourID", "yourPW");
5    webClient.DownloadFile(uri, @"C:\Temp\japan-all-stock-prices.csv");
6}
7
8var uri = new Uri("https://hesonogoma.com/stocks/download/csv/japan-all-stock-prices/daily/japan-all-stock-prices.json");
9using (var webClient = new System.Net.WebClient())
10{
11    webClient.Credentials = new NetworkCredential("yourID", "yourPW");
12    webClient.DownloadFile(uri, @"C:\Temp\japan-all-stock-prices.json");
13}

投稿2017/01/31 17:23

moriban

総合スコア12

yamaguti

2017/02/01 03:44

サイト管理様いつもお世話になっております。サンプルコード並びに、サービスの紹介ありがとうございました。今後とも株式取引の参考にさせて頂きます。よろしくお願いします。

moriban

2017/02/01 10:57

はい。ぜひ参考になさって下さい！株価ビッグデータの中には金脈が埋まっています。本当ですよ！

行動規範の内容に同意します

自己解決

フィックス致しました。

投稿2017/01/18 11:18

yamaguti

総合スコア185

こんにちは。

DownloadDataではなく、
client.DownloadFile(@"http://xxx", FileName); で良いと思います。
Cドライブ直下だと権限周りで色々怒られるかもしれませんが、それはまた別問題ということで。

投稿2016/12/14 14:01

Tak1wa

総合スコア4791

yamaguti

2016/12/14 15:30

ご回答ありがとうございます。ファイルは生成されるのですが、内容がうまく落ちてきません、、

Tak1wa

2016/12/15 00:07

「うまく落ちてきません」ってなんでしょう。最初のご質問でもそうですが、「うまくいきません」しか記載されていません。こういったQAサイトではもう少し問題点を明確に伝えたほうが良いですよー

yamaguti

2016/12/15 00:36

CSVはC直下に落ちてきました。 CSVの中身を空けると本来なら株式のデータが入ってるはずなのですが。中身はHTMLのようなものが入っています。以下に記載します。 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"> <html> " <head>" " <meta http-equiv=""content-type"" content=""text/html; charset=utf-8"">" " <meta name=""description"" content=""讀懃ｴ｢繝ｻ繧ｽ繝ｼ繝医・Excel逕ｨCSV繝輔ぃ繧､繝ｫ縺ｮ繝繧ｦ繝ｳ繝ｭ繝ｼ繝峨′蜿ｯ閭ｽ縺ｪ譌･譛ｬ譬ｪ蜈ｨ驫俶氛縺ｮ謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ荳隕ｧ陦ｨ縲ゅた繝ｼ繝域ｩ溯・繧剃ｽｿ縺｣縺ｦ謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ縺ｮ蜷・ｨｮ繝ｩ繝ｳ繧ｭ繝ｳ繧ｰ繧定｡ｨ遉ｺ蜿ｯ閭ｽ縲・>" " <title>譌･譛ｬ譬ｪ蜈ｨ驫俶氛謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ・・SV繝・・繧ｿ繝繧ｦ繝ｳ繝ｭ繝ｼ繝牙庄閭ｽ・・/title>" " <link rel=""shortcut icon"" type=""image/ico"" href=""icon/chart.ico""> <style type=""text/css"" media=""screen"">" " @import ""http://ajax.aspnetcdn.com/ajax/jquery.dataTables/1.9.4/css/jquery.dataTables_themeroller.css"";" " @import ""http://ajax.aspnetcdn.com/ajax/jquery.ui/1.9.0/themes/smoothness/jquery-ui.css"";" " @import ""media/css/TableTools_JUI.css"";" " @import ""media/css/stock-prices.css"";" " @import ""media/css/cssmenu.css"";" " @import ""//maxcdn.bootstrapcdn.com/font-awesome/4.2.0/css/font-awesome.min.css"";" " </style>" " <script type=""text/javascript"" charset=""utf8"" src=""http://ajax.aspnetcdn.com/ajax/jQuery/jquery-1.8.3.min.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""http://ajax.aspnetcdn.com/ajax/jquery.dataTables/1.9.4/jquery.dataTables.min.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""media/js/ZeroClipboard.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""media/js/TableTools.min.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""media/js/japan-all-stock-data.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""media/js/cssmenu.js""></script>" " <script type=""text/javascript"" charset=""utf8"" src=""media/js/analytics.js""></script>" " </head>" " <body>" " <div id=""menu-container"">" " <div id=""cssmenu"">" " <ul>" " <li class=""has-sub""><a href=""#""><i class=""fa fa-line-chart fa-2x""></i>  譬ｪ萓｡荳隕ｧ陦ｨ</a>" " <ul>" " <li><a href=""japan-all-stock-prices.html"">譌･譛ｬ譬ｪ蜈ｨ驫俶氛</a></li>" " <li><a href=""nikkei225-stock-prices.html"">- 譌･邨・25 讒区・驫俶氛</a></li>" " <li><a href=""tosho-1st-stock-prices.html"">- 譚ｱ險ｼ荳驛ｨ</a></li>" " <li><a href=""tosho-2nd-stock-prices.html"">- 譚ｱ險ｼ莠碁Κ</a></li>" " <li><a href=""tosho-mothers-stock-prices.html"">- 譚ｱ險ｼ繝槭じ繝ｼ繧ｺ</a></li>" " <li><a href=""tosho-jasdaq-stock-prices.html"">- JASDAQ</a></li>" " <li><a href=""japan-local-exchange-stock-prices.html"">- 蝨ｰ譁ｹ蟶ょｴ</a></li>" " <li><a href=""tosho-etf-stock-prices.html"">譚ｱ險ｼ ETF繝ｻETN</a></li>" " <li><a href=""tosho-reit-stock-prices.html"">譚ｱ險ｼ REIT</a></li>" " <li><a href=""tosho-fund-and-others-stock-prices.html"">譚ｱ險ｼ繝輔ぃ繝ｳ繝峨・莉・/a></li>" " <li><a href=""all-nyse-stock-quotes-list-ja.html"">NYSE 蜈ｨ驫俶氛</a>" " <li><a href=""all-nasdaq-stock-quotes-list-ja.html"">NASDAQ 蜈ｨ驫俶氛</a>" " <li><a href=""all-amex-stock-quotes-list-ja.html"">NYSE AMEX 蜈ｨ驫俶氛</a></li>" " </ul>" " </li>" " <li class=""active has-sub""><a href=""#""><i class=""fa fa-calculator fa-2x""></i>  謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ</a>" " <ul>" " <li class=""active-sub""><a href=""#"">譌･譛ｬ譬ｪ蜈ｨ驫俶氛</a></li>" " <li><a href=""nikkei225-stock-data.html"">- 譌･邨・25 讒区・驫俶氛</a></li>" " <li><a href=""tosho-1st-stock-data.html"">- 譚ｱ險ｼ荳驛ｨ</a></li>" " <li><a href=""tosho-2nd-stock-data.html"">- 譚ｱ險ｼ莠碁Κ</a></li>" " <li><a href=""tosho-mothers-stock-data.html"">- 譚ｱ險ｼ繝槭じ繝ｼ繧ｺ</a></li>" " <li><a href=""tosho-jasdaq-stock-data.html"">- JASDAQ</a></li>" " <li><a href=""japan-local-exchange-stock-data.html"">- 蝨ｰ譁ｹ蟶ょｴ</a></li>" " <li><a href=""japan-all-stock-financial-results.html"">豎ｺ邂励・雋｡蜍吶ョ繝ｼ繧ｿ</a></li>" " <li><a href=""jsf-balance-data.html"">譌･險ｼ驥・陞崎ｳ・ｲｸ譬ｪ谿矩ｫ・/a></li>" " <li><a href=""jsf-gyakuhibu-data.html"">譌･險ｼ驥・騾・律豁ｩ驫俶氛</a></li>" " </ul>" " </li>" " <li class=""has-sub""><a href=""#""><i class=""fa fa-shopping-cart fa-2x""></i>  驕主悉繝・・繧ｿ雋ｩ螢ｲ</a>" " <ul>" " <li><a href=""https://gum.co/vHwWW"" target=""_blank"">2015蟷ｴ騾壼ｹｴ・・000蜀・/a></li>" " <li><a href=""https://gum.co/tPru"" target=""_blank"">2016蟷ｴ 1-6譛茨ｼ・00蜀・/a></li>" " </ul>" " </li>" " <li class=""has-sub""><a href=""#""><i class=""fa fa-cogs fa-2x""></i>  繝・・繧ｿ豢ｻ逕ｨ莠倶ｾ・/a>" " <ul>" " <li><a href=""http://kamomenotoushi.hatenablog.com/entry/2015/11/01/140950"" target=""_blank"">譬ｪ蠑乗兜雉・驕狗畑險倬鹸陦ｨ</a></li>" " <li><a href=""http://kamomenotoushi.hatenablog.com/entry/2016/01/02/000000"" target=""_blank"">譬ｪ蠑乗兜雉・驫俶氛豈碑ｼ・｡ｨ</a></li>" " <li><a href=""http://kamomenotoushi.hatenablog.com/entry/2016/02/07/000000"" target=""_blank"">蟶ょｴ邨ｱ險・謗ｨ遘ｻ險倬鹸陦ｨ</a></li>" " <li><a href=""http://kamomenotoushi.hatenablog.com/entry/2016/02/07/000000_1"" target=""_blank"">豎ｺ邂苓ｲ｡蜍・邨ｱ險域ｯ碑ｼ・｡ｨ</a></li>" " <li><a href=""http://1000.hateblo.jp/entry/2014/11/30/003306"" target=""_blank"">1000蜀・ｻ･荳区ｪ縺ｮ謗｢邏｢</a></li>" " </ul>" " </li>" " <li><a href=""https://twitter.com/moriban"" target=""_blank""><i class=""fa fa-twitter fa-2x""></i>  騾｣邨｡</a></li>" " <li><a href=""javascript:location.reload(true);""><i class=""fa fa-refresh fa-2x""></i>  譖ｴ譁ｰ</a></li>" " </ul>" " </div>" " <div id=""adsense-bigbanner"">" " <script async src=""//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js""></script>" " " " <ins class=""adsbygoogle""" " style=""display:inline-block;width:468px;height:60px""" " data-ad-client=""ca-pub-1775276933151656""" " data-ad-slot=""7051071288""></ins>" " <script>" " (adsbygoogle = window.adsbygoogle || []).push({});" " </script>" " </div>" " </div>" " <div id=""container"">" " <div id=""dynamic"">" <table cellpadding="0" cellspacing="0" border="0" class="display" id="japan-all-stock-data"> " <thead>" " <tr>" " <th width=""40"">SC</th>" " <th width=""180"">蜷咲ｧｰ</th>" " <th width=""75"">蟶ょｴ</th>" " <th width=""85"">讌ｭ遞ｮ</th>" " <th width=""80"">譎ゆｾ｡邱城｡・br>(逋ｾ荳・・)</th>" " <th width=""90"">逋ｺ陦梧ｸ・br>譬ｪ蠑乗焚</th>" " <th width=""60"">驟榊ｽ・br>蛻ｩ蝗槭ｊ</th>" " <th width=""60"">1譬ｪ<br>驟榊ｽ・/th>" " <th width=""60"">PER<br>・井ｺ域Φ・・/th>" " <th width=""60"">PBR<br>・亥ｮ溽ｸｾ・・/th>" " <th width=""60"">EPS<br>・井ｺ域Φ・・/th>" " <th width=""60"">BPS<br>・亥ｮ溽ｸｾ・・/th>" " <th width=""60"">譛菴・br>雉ｼ蜈･鬘・/th>" " <th width=""60"">蜊伜・譬ｪ</th>" " <th width=""70"">鬮伜､<br>譌･莉・/th>" " <th width=""60"">蟷ｴ蛻晄擂<br>鬮伜､</th>" " <th width=""70"">螳牙､<br>譌･莉・/th>" " <th width=""60"">蟷ｴ蛻晄擂<br>螳牙､</th>" " </tr>" " </thead>" " <tfoot>" " <tr>" " <th>SC</th>" " <th>蜷咲ｧｰ</th>" " <th>蟶ょｴ</th>" " <th>讌ｭ遞ｮ</th>" " <th>譎ゆｾ｡邱城｡・br>(逋ｾ荳・・)</th>" " <th>逋ｺ陦梧ｸ・br>譬ｪ蠑乗焚</th>" " <th>驟榊ｽ・br>蛻ｩ蝗槭ｊ</th>" " <th>1譬ｪ<br>驟榊ｽ・/th>" " <th>PER<br>・井ｺ域Φ・・/th>" " <th>PBR<br>・亥ｮ溽ｸｾ・・/th>" " <th>EPS<br>・井ｺ域Φ・・/th>" " <th>BPS<br>・亥ｮ溽ｸｾ・・/th>" " <th>譛菴・br>雉ｼ蜈･鬘・/th>" " <th>蜊伜・譬ｪ</th>" " <th>鬮伜､<br>譌･莉・/th>" " <th>蟷ｴ蛻晄擂<br>鬮伜､</th>" " <th>螳牙､<br>譌･莉・/th>" " <th>蟷ｴ蛻晄擂<br>螳牙､</th>" " </tr>" " </tfoot>" " <tbody>" " </tbody>" </table> " </div>" " <div id=""footer"">" " 讀懃ｴ｢繝ｻ繧ｽ繝ｼ繝医・Excel逕ｨCSV繝輔ぃ繧､繝ｫ縺ｮ繝繧ｦ繝ｳ繝ｭ繝ｼ繝峨′蜿ｯ閭ｽ縺ｪ譌･譛ｬ譬ｪ蜈ｨ驫俶氛縺ｮ謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ荳隕ｧ陦ｨ縲ゅた繝ｼ繝域ｩ溯・・亥・蜷阪け繝ｪ繝・け・峨ｒ菴ｿ縺｣縺ｦ謚戊ｳ・欠讓吶ョ繝ｼ繧ｿ縺ｮ蜷・ｨｮ繝ｩ繝ｳ繧ｭ繝ｳ繧ｰ繧定｡ｨ遉ｺ蜿ｯ閭ｽ縲ょｹｳ譌･15:15鬆・↓蠖捺律蟶ょｴ繝・・繧ｿ繧貞渚譏縲・br>" " " " © Hesonogoma Tips" " </div>" " </div>" " </body>" </html>

Tak1wa

2016/12/15 00:39

DownloadDataメソッドの引数が"http://hesonogoma.com/stocks/japan-all-stock-data.html"なのでHTMLを取得しているだけでは。サーバーサイドどういう仕様なんでしょう。

yamaguti

2016/12/15 01:05

CSV自体のURLを開発者ツールで、調べようとしましたがわかりませんでした。 Save to　CSVボタンを押したらデータをCSVに書き込んでいるのかもしれません。 webサイトのボタンを押下する方法も検討してみます。

行動規範の内容に同意します

あなたの回答