質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Apache log4j

Apache log4jは、Javaのログユーティリティです。Apache Software Foundationの元で開発されており、Apache Software Liense 2としてライセンスが与えられています。

Q&A

0回答

1511閲覧

storm-kafka の MultiScheme の作り方がわかりません

uramot

総合スコア20

Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Apache log4j

Apache log4jは、Javaのログユーティリティです。Apache Software Foundationの元で開発されており、Apache Software Liense 2としてライセンスが与えられています。

0グッド

0クリップ

投稿2017/01/14 17:43

編集2022/01/12 10:55

KafkaからStormにデータを流すものを作りたいのですが、Storm側でKafkaから送られてきたデータをDeserializeする方法がわからなかったため、質問させて頂きました。

ここを参考に、KafkaSpoutを作成し、kafka-console-producer から送られてきたデータを受取り、StringScheme()を使って KafkaSpout() から emit されているところまでは確認することが出来ました。

しかし、 kafka connect jdbc を使って sqlite からデータを送る際に、送られてきたデータが単純な String でないため、 StringScheme() では正しくDeserializeすることが出来ませんでした。

こういう場合は、 Scheme を自分で作るというように書いてあったのですが、 Scheme の deserialize メソッドで byteBuffer を読み込む方法がわかりませんでした。

java初心者なので、初歩的な質問かもしれませんが、ご回答よろしくお願いします!!!

sql

1create table example( 2 id int primary key autoincrement not null, 3 text varchar 4);

java

1 public static class SpoutScheme implements Scheme { 2 private static final Charset UTF8_CHARSET = StandardCharsets.UTF_8; 3 4 public List<Object> deserialize(ByteBuffer bytes) { 5 // ここの bytes を OutputFields に合うようにパースしたいです! 6 return new Values(deserializeString(bytes)); 7 } 8 9 public static String deserializeString(ByteBuffer string) { 10 if (string.hasArray()) { 11 int base = string.arrayOffset(); 12 return new String(string.array(), base + string.position(), string.remaining()); 13 } else { 14 return new String(Utils.toByteArray(string), UTF8_CHARSET); 15 } 16 } 17 18 public Fields getOutputFields() { 19 return new Fields("id", "url"); 20 }

環境

centos 6
java 1.8
storm 1.0.2
kafka_2.10

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問