httpにおけるバイナリデータの送受信とは

Question

バイナリとはなにかがわからなくなったので質問です。
質問の日本語自体が誤りを含むこともあるかと思うので、ご指摘ください。
httpのprotocolに従ってデータをやり取りする際にデータが大きくなりすぎたから
binaryでやりとりするみたいなやりとりをたまに見かけるのですが、
結局は文字なので"こ"という文字をデータとして渡すのと同様のbyteコードでいう e38193は
文字数が少ない"こ"のほうがデータ量が少ないような直感が働いてしまいます。
実際にcurlとうでbinaryデータをfileとして渡すときにも文字列で渡したほうが圧倒的に文字数という観点では少ないのが
この直感にも影響します。
おそらくいろいろな解釈にあやまりがあるのでご指摘ください。もしくはわかりやすいページなどがあれば教えてください。

protocol buffersというprotocolはbinaryで定義された型を基準にやり取りするという面でhttpより優れているみたいですが
そのへんも教えていただけると幸いです。

Answer 1

"こ"という文字をデータとして渡すのと同様のbyteコードでいう e38193は
文字数が少ない"こ"のほうがデータ量が少ないような直感が働いてしまいます。

「バイナリデータ」と「バイナリデータを人間が読める形で表現したもの」を区別できていないようです。

「e38193」←ここに書かれている6文字は、6つの文字を使って3バイトのバイナリデータを表現したものです。バイナリデータそのものではありません。
同じものは他に例えば1バイトづつ10進数で書いた「227,129,147」や、全部2進数で書いた「111000111000000110010011」とも表現できます。
すべて同じものを意味しますが、書くときに書きやすいのでよく「e38193」を使います。
実際のコンピュータ内に存在するデータ表現は2進数の「111000111000000110010011」に近い形になっていることが多いでしょう。

「バイナリデータを人間が読める形で表現したもの」は、人間がコンピュータにバイナリデータを渡す際によく用いられます。
文字数の多い「バイナリデータを人間が読める形で表現したもの」をコンピュータに渡すと、コンピュータがそれをバイナリデータに変換し、それを送信なりなんなりに利用します。

一方、

結局は文字なので

いいえ。コンピュータの中では「結局はデータ」です。
コンピュータを使って「こ」という文字を扱おうとすれば、何らかのバイナリデータに変換して扱うしかありません。
この変換の規則を表したのが文字コードであり、(今主流のUTF-8では)「こ」は「e38193」(という表現が表すバイナリデータ)として扱われます。

Comments

[anonymous001]

> 「バイナリデータ」と「バイナリデータを人間が読める形で表現したもの」を区別
が的確に表現していると思います。ありがとうございます！！

Answer 2

非常に興味深いお話だと思いました。

結局は文字なので"こ"という文字をデータとして渡すのと同様のbyteコードでいう e38193は

文字数が少ない"こ"のほうがデータ量が少ないような直感が働いてしまいます。

かえって混乱させてしまうかもしれませんが、「こ」という文字を「こ」（3バイト）のまま送信するのがバイナリです。そして、HTTPの通常の方式（application/x-www-form-urlencoded）で「こ」を送信すると、パーセントエンコードという形式により、%E3%81%93 という 9バイトになります。バイナリ形式だと3バイトなので、3倍の大きさになるわけです。こちらがテキスト形式です。

文字かどうかで考えると混乱しそうですね。テキスト形式というのは、「あらゆるデータを限られた（表示可能な）文字で表現できる形式」であり、パーセントエンコードもその形式の一つです。「こ」も表示可能ではあるのですが、パーセントエンコードを使うと、ASCIIという限定された文字だけで全てのデータを表現できます。限られた（表示可能な）文字で表現するための変換を伴うので、バイト数が増える場合があります。バイナリは、「元のままの形で扱う」ということで、バイト数は増えません。

---

追記です。
バイナリデータとバイナリ形式の違い、というのも誤解の原因かもしれません。
バイナリデータというのは、文字としての表示を前提としていないデータであり、Windowsの.EXE形式のデータや、JPEGやPNGなどの画像形式のデータが例として挙げられます。
一方テキスト形式のデータ形式には、JSONやbase64、16進文字列などがあります。base64を例に取ると、UTF-8エンコードの「こ」は、base64エンコードすると 44GT という4バイトのASCII文字列になります。バイナリデータを表示可能な文字だけで表現するために、バイト数が増加する場合があります。

HTTPの場合でいうと、データのダウンロードは、通常、テキストデータもバイナリデータも「生の形」でダウンロードされます。バイナリ形式としてダウンロードしていることになります。
一方、データをブラウザからサーバーに送る（アップロードする）場合は、通常はパーセントエンコード（URLエンコードとも言う; application/x-www-form-urlencoded ）という「テキスト形式」で送りますが、この形式は最大で元のバイト数の3倍になります。ファイルのアップロードに使うmultipart/form-dataは元データをエンコードせず生の形で送信するので、「バイナリのままで」送信することになります。区切りなどは別にすると、multipart/form-data形式はデータのバイト数が増えることはありません。

Comments

[anonymous001]

丁寧にありがとうございます！理解の幅が広がりました。

Answer 3

下記の局面を知らない人には意味が通じないと思います。

httpのprotocolに従ってデータをやり取りする際にデータが大きくなりすぎたから

binaryでやりとりするみたいなやりとりをたまに見かけるのですが、

例えば、HTMLで表現した画面内の入力項目が多くなりすぎたので使い勝手が悪い。
対策として、ファイルでアップロードして解析する機能にしよう。
みたいな流れはありそうな気がしますが…

他の方も回答されているように、binary か ascii かってのは
データの見方による違いでしかなく、実態は同じものですよね。
これが FTP になると転送時の処理が増減することになりますが
今回はHTTPということなので、首をひねることになっているという…

Answer 4

httpのprotocolに従ってデータをやり取りする際にデータが大きくなりすぎたから

binaryでやりとりするみたいなやりとり

http(Hypertext Transfer Protocol)ではした記憶が無いのですが、それ以前だったら、あります。
具体的には、画像等のデータをやり取りする際に、良く行うのが、画像データをテキスト化して送ります。 よく使われた通信経路では、テキストデータしか送れないためです。
しかし、テキスト化すると、送信データサイズが大きくなります。
このため、バイナリのまま、送ると言うことです。httpも含め、多くの通信手順(方法)では、テキスト化されたデータしか送れないため、バイナリのまま、送るという事は、別のプロトコル(ftpとか)を使う事になります。

Answer 5

データが大きくなりすぎたからbinaryでやりとりするみたいなやりとり

これはどこで見ましたか？書いた人が誤解を招く表現をしたか、あなたが読解を誤ったかのどちらかです。

データを短くする文脈で使われたとすると、テキストデータを圧縮して送るようなことを言っているのだと思います。

Answer 6

http 通信で送るのは文字列に限らないのですが・・・

文字列の場合は、例えば Shift_JIS のいわゆる全角文字は 2 バイトですが、UTF-8 では同じ文字が 3 バイトになります。

画像のようなバイナリデータを送る場合は、BASE64 でエンコードすると (そうなってしまう・そうせざるを得ないケースがあります) 元のバイナリデータよりサイズが 1.3 倍大きくなってしまいます。

そのようなことを言っているのでしょうか？

Answer 7

お疲れ様です。

書かれていることの意味は理解できるのですが、
いろいろなことを学習されないと、いきなり理解は深まらないと思います。

興味がある言語はなんでしょうか？
例えば、Pythonに興味があるとしたら、

「入門 Python3」オライリー・ジャパン

とかを、一度読まれると、いろいろなことに理解が深まると思います。
※この書籍には、ご質問に対する直接の回答はありません、念のため。

（回答になっておらず、すみません。）