シリアライズってPC間でデータを送るときには必ず必要なのでしょうか？

Question

PC間でデータの送信をするときに
・json
・pickle
などでシリアライズしたデータを送るかと思います。

import pickle

data1 = {'a': [1, 2.0, 3, 4+6j],
         'b': ('string', u'Unicode string'),
         'c': None}

selfref_list = [1, 2, 3]
selfref_list.append(selfref_list)

output = open('data.pkl', 'wb')

# Pickle dictionary using protocol 0.
pickle.dump(data1, output)

# Pickle the list using the highest protocol available.
pickle.dump(selfref_list, output, -1)

output.close()

しかし、こういったデータというのはシリアライズせずにPC間でデータの送信することはできないのでしょうか？

シリアライズしないと文字化けしたりするのでしょうか？

初歩的な質問で恐縮ですが宜しくお願いします。

Answer 1

構造を持ったオブジェクトの内部には、他のオブジェクトへのポインタが入ってたりします。実際に入っているのはメモリアドレスじゃなくてオブジェクトIDだと思いますが。
オブジェクトIDはRubyだとFixnumのようなものは数値が決まればオブジェクトIDも決まりますが、一般のオブジェクトは、どんなオブジェクトIDになるかは実行してみないと分かりません。別の言い方をすると"ABC"のオブジェクトIDは実行する毎に変わります。メモリアドレスが入っている場合でもそれは実行毎に変わりますよね。

ということで、構造を持ったオブジェクトを他のPCあるいは、同じPC内の他のプロセスとやりとりする場合は、そういうメモリ上の内部表現でない形式に変換する必要があります。また、関連するオブジェクトをメモリ上のあちこちから集めてきて順番に並べます。これ（変換と並べ）がシリアライズです。

同じバージョンのRubyプログラム同士だと、Marshal(=記録係)というバイナリを使った効率の良い形式があります。
文字で表現された、言語から独立した形式がJSON等ですね。ただJSONだと言語独立のため、言語独自のオブジェクトを表せませんが。

構造を持たないオブジェクト（単独の数値とか）やごく簡単な構造のオブジェクトだとメモリイメージそのままやりとりしても大丈夫なケースもあります。最初からシリアライズされているというか。

Rubyの例を出しましたが、Pythonでも同様だと思います。

Answer 2

ネットワーク経由でデータを送受信する場合に限っていうと、最終的にはバイト列に変換する必要があるので、どのレイヤーでシリアライズ／デシリアライズが行われるかの違いでしかありません。

シリアライズ可能な形式のオブジェクト（Javaで言うと、Serializableインターフェイスを実装しているクラス）であれば、API側でシリアライズをやってくれるようにすることもできるので、オブジェクトをシリアライズしてから渡さなくても良いように作ることはできます。

Answer 3

データの伝送という目的だけであれば、シリアライズは必須ではありません。
ファイルに保存したり、あるいは電文という形で、ある一定のフォーマットに従ってデータをまとめれば送ることができます。
（ネットワーク上を流れるIPパケットも、シリアライズせずにデータを伝送している例の一つです。）

しかし、オブジェクト（データだけでなく、特定のデータ構造やメソッドを合わせ持つ）を伝送する場合には、伝送後に元のオブジェクトに復元する必要があります。
その場合、《シリアライズ・デシリアライズ》というプロセスを経ることで、確実かつ簡単に伝送することができます。
こちら の説明はJavaの例ですが、シリアライズというのがどういうことなのかイメージしやすいと思います。

異なるPC間の場合だけでなく、同じサーバー上でも異なるプロセス間でオブジェクトを受け渡す場合には、よくシリアライズという方法が使用されているようです。

Answer 4

同一のCPU， プログラミング言語をつかっているマシン同士で、データ中のポインター情報などを含んでいなければ、バイナリー形式そのものを転送しても動作するでしょう。
しかし、バイナリーレベルで２つのPCでデータのバイナリー形式が一致しない場合は、データを別形式にして転送することが必要になります。(例えば bigendian, littleendianの差、文字コード体系の差などを吸収する)

Ruby 専用の分散オブジェクトシステムとして druby があります。
内部では、データをシリアライズ、デシリアライズしています。

• library drb http://docs.ruby-lang.org/ja/2.1.0/library/drb.html

...
リモートメソッド呼び出しの引数や返り値には任意の Ruby オブジェクト が使えます。デフォルトではオブジェクトをマーシャリングして 渡され、受け取った側が元のオブジェクトに戻します。つまり オブジェクトはコピーされます。これは通常の同一プロセス上での メソッド呼び出しと大きく異なる点です(通常のメソッド呼び出しでは オブジェクトへのリファレンスが渡されます)。
...

このページを説明を読むと、ruby 同士でデータをシリアライズするにもいろいろなケースを検討するのが必要なのだということを伺い知ることができると思います。

Answer 5

JSONやpickelでデータを表現せずに、ということでしたら可能です。
JSONやpickleはデータをどのように表現するかという決まりごと(プロトコル)です。
独自のプロトコルを定義し、その決まりに従って通信電文を作成すれば良いのです。

大事なのはどのような順番で、どのようなフォーマットでデータを表現するかです。

文字化けについては多くの場合、エンコードの違い もしくは環境依存文字の使用が原因となります。
これはどんなプロトコルを使用しても化けるときは化けます。
JSONだからとか独自プロトコルだからというのはあまり関係ないでしょう。