Q&A
同じ回答がありましたね；；
なかった事に・・・・ｍｍ
2015/01/01 00:00:00,1,2,…
2015/01/01 01:00:00,2,3,…
：
のようなn行13列(1時間に1行増える)のcsvファイルから特定の日時のデータを抜き出す機能を作っています。
現在、こちらのサイトのライブラリを使用してcsvをまるごと配列に取得しているのですが、今後行数が4桁、5桁と増えていった場合に消費するメモリの量や読み込みにかかる時間などを考えて、「一行ずつ読み込んで必要なデータであれば配列に保持する」という手法を取ろうと思っています。
ですが、肝心の「1行ずつ読み込む」部分の作り方、ライブラリなどが(私が探した、あるいは理解が及ぶ範囲では)見つかりませんでした。
なので、CSVを1行ずつ読み込むための関数、ライブラリなど何かあれば教えていただけないでしょうか？
あるいは、csvファイルから特定の日時のデータを取り出すために他にいい方法があればご教示ください
このCSVは最大で5ファイル(同じ構成)読み込む必要があって、スマートフォンなどの非力な環境で見ることも想定しているので、全部のデータを保持するのは無謀かなと思っていました。
ですので一行読み込んで不要なデータであれば破棄して次の行へ…と繰り返せばいいのかなーと素人考えで思ったのですが(それでも時間は掛かりそうですが)そう上手くはいかなさそうですね…
現在の自分のスキルを考えて、node.jsを使ってCSVを加工する方向で試してみようと思います。
ありがとうございました
回答5件
0
1行長が固定で、必要なバイト位置が計算できるなら、Ajaxでのリクエスト時にRangeヘッダをつけると、指定バイト区間だけ取得できるかも知れません。例：Range: bytes=201-500
サーバー側にそういう区間で返す機能がないと全部返ります。
1行長が不定だとどうしようもないと思います。もしAccept-Range: linesとなるようなサーバーがあれば別ですが。
なお区間で取得できた場合は、レスポンスコードが200じゃなくて206になります。
投稿2015/09/10 05:51
総合スコア84533
0
ＪＳは知らないのですが・・・参考になりますか？
ストリームを行ごとに処理
投稿2015/09/10 05:41
総合スコア6851
0
unixのsedコマンドで前処理する事を検討されましたか？
sedという名前は、"Stream EDitor"から来ていて、ファイルやパイプからの文字ストリームを順に処理していくエディタです。処理速度も結構速いです(perlより機能が低い分、速度も速いです）。
特定のパターンを含む列のみを出力するといった使い方が出来ます。（パターンは正規表現で書きます）
sedでcsvファイルからの抽出をしておいて、それをjavascriptで処理すれば良いように思われます。
投稿2015/09/10 05:22
総合スコア6915
0
こんにちは。
こんな方法みつけたのですが、いかがでしょうか？
AJAXでCSVを読み込みJAVASCRIPTDBを使いSELECTで抽出表示する方法
投稿2015/09/10 05:09
総合スコア1844
リンクを見させていただきましたが、一度CSVを全部読み込んでからJavascriptDBに入れなおす処理をしているみたいで、根本的な解決に至らない気がします…
どの部分が増えた（何行目か）を知るにはStream等に全部読み込む必要があると思うのですが、
その部分も１行ずつってお考えでしょうか？？
0
ベストアンサー
node.jsを使うことになりますが…。
投稿2015/09/10 05:05
総合スコア856
node.jsってサーバーサイドでしたよね…なんとかクライアント側だけで完結させたいのですが…
検討してみます。ありがとうございました！
すみません、今ちょっと検証できる状態ではないので、リンクのみですが
http://weble.org/2011/03/15/javascript-longsplit
こちらとか参考になりますか？
追記
書き込んだあとで失礼します。
これだとファイルを全部読み込んでしまいますね。すみません。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。