データマエショリストな皆様、
当方、ビッグデータの取扱に関して、完全初心者な人間です。
何故か、社内の試験的BigDataプロジェクトにアサインされてしまいました。
有識者の皆様ご質問させて頂きたく。
いくつかNoSQLやRDFストア等の環境構築は勉強しながら出来たのですが、
肝心の大量データの変換等に苦労しています。
一応、正規表現やかんたんなシェルスクリプトの心得はあるのですが、
流行り?のやり方や、有用なライブラリ等があればご教授願えないでしょうか。
具体的には以下のようなデータ処理を手元で行うような場合に
利用するツールやライブラリ、スクリプト等について知りたいと思っています。
・1ファイル数GBレベルのJSONデータに対する変換、抽出処理
・1ファイル数kb * 数百万データに対するテキスト変換、条件判断によるファイル分類
以上、よろしくお願いいたします。
回答1件
あなたの回答
tips
プレビュー