質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
NoSQL

NoSQL(not only SQL)は、リレーショナルデータベース管理システムとは異なるデータベースシステムを指す言葉です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

469閲覧

大量データの処理方法について

njbs

総合スコア8

NoSQL

NoSQL(not only SQL)は、リレーショナルデータベース管理システムとは異なるデータベースシステムを指す言葉です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/02/15 06:22

編集2018/02/15 06:25

データマエショリストな皆様、

当方、ビッグデータの取扱に関して、完全初心者な人間です。
何故か、社内の試験的BigDataプロジェクトにアサインされてしまいました。
有識者の皆様ご質問させて頂きたく。

いくつかNoSQLやRDFストア等の環境構築は勉強しながら出来たのですが、
肝心の大量データの変換等に苦労しています。
一応、正規表現やかんたんなシェルスクリプトの心得はあるのですが、
流行り?のやり方や、有用なライブラリ等があればご教授願えないでしょうか。

具体的には以下のようなデータ処理を手元で行うような場合に
利用するツールやライブラリ、スクリプト等について知りたいと思っています。

・1ファイル数GBレベルのJSONデータに対する変換、抽出処理
・1ファイル数kb * 数百万データに対するテキスト変換、条件判断によるファイル分類

以上、よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yoorwm

2018/02/15 06:35

もう少し、真面目に質問してみてください
guest

回答1

0

ベストアンサー

それくらいのデータ量だったらメモリにのりますし、64bit版のPythonと標準ライブラリ、高クロックのCPUと十数~数十GBのメモリをまずは基本ツールとすれば良いのではないでしょうか。

投稿2018/02/15 07:14

編集2018/02/15 07:24
YouheiSakurai

総合スコア6142

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

YouheiSakurai

2018/02/15 07:28

あとスロットに直挿しするタイプのストレージもおすすめ。
njbs

2018/02/15 07:41

まずはPythonを自在に扱えるようにするのが近道と理解しました。 ご回答頂き有難うございました。
YouheiSakurai

2018/02/15 07:44

厳密には基本を押さえた上で「まずはやってみる」のが近道だと思います。やってみると課題も見えてきますし、課題が見えれば解決策も模索できますし。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問