バイナリデータを扱うpack / unpackで扱う値は何なのでしょうか

Question

お世話になります。
rubyやphpにあるpack / unpack関数について質問です。

• pack関数はテキスト文字をバイナリ文字に変換する関数、という認識で合ってますでしょうか。

(「バイナリ文字列にパックする」という説明をよく見かけたのですが、パック＝変換？)
※ちなみに「バイナリ文字」は「コンピュータが理解できる、テキストデータ以外のデータ」くらいの理解しかありません。。

• 例えばrubyで下記のコードを実行した結果、下記の通りになったのですが変換後の値("\x01"や"\a")はどこから出てきたのでしょうか。ASCIIコードではないですよね。。

また下記の[82, 117, 98, 121]をpackすると"Ruby"という文字になりますが、この[82, 117, 98, 121]は何の数字なのでしょうか。

[1] pry(main)> [1].pack('C*')
=> "\x01"
[2] pry(main)> [7].pack('C*')
=> "\a"
[3] pry(main)> [82, 117, 98, 121].pack('C*')
=> "Ruby"

• unpackは「バイナリ（と文字列）を数値に変換する関数」という認識ですが、なんの数値に変換されるのでしょうか。

"a".unpack("C*")
=> [97]  # この 97 は何？

• そもそもの前提知識が足りないために理解できないのですが、どういったキーワードで知識を仕入れたらよいでしょうか。 例）「文字コード」「バイナリとは」など。。

画像ファイルやExcelファイルなどテキストエディタで開けないようなファイルも、
コンピュータ上ではバイナリ形式（2進数）で表されるため、
プログラム上でそういったバイナリファイルを扱う際にpackを使うのかなー、といった程度の理解だったのですが、
前提知識がないため、いくら調べても分かりませんでした。。

できるだけ砕いて説明頂けると、または知識の仕入れ先を教えて頂けるとありがたいです。
よろしくお願いいたします。

Answer 1

知識の仕入れ先としては、「コンピューター入門」のような書籍でしょうか。
「バイナリって、実際どう言うもので、どういう種類があるのか？」を念頭に読めば良いかと。

整数を1バイトバイナリに変換するのがpack("c")やpack("C")で、
整数を4バイトバイナリに変換するのがpack("i")やpack("I")で、
"0"と"1"という文字の連なりを2進数の文字列表現と見なして、(連なりの長さ÷8)バイトのバイナリに変換するのがpack("b*")やpack("B*")とか、とか。

理解は半分以上間違っています。

pack関数はテキスト文字をバイナリ文字に変換する関数、という認識で合ってますでしょうか。

上記の通り、違います。

レシーバである[1]はASCIIコードの1で10進数で表現されており、結果の\x01はASCIIコードの1（10進数）を16進数で表現したもの、と理解しました。また、packの引数に指定するフォーマットをC*から別のものに変えたら、結果も16進数以外のものになる、と。

上記の通り、違います。

例えばrubyで下記のコードを実行した結果、下記の通りになったのですが変換後の値("\x01"や"\a")はどこから出てきたのでしょうか。

"\x01"は、1という値を持つ1バイトのRuby文字列表現。
"\a"は、7という値を持つ1バイトのRuby文字列表現。

また下記の[82, 117, 98, 121]をpackすると"Ruby"という文字になりますが、この[82, 117, 98, 121]は何の数字なのでしょうか。

それぞれ、R u b yの文字コードです。
文字と文字コードは、ord chrで変換できます。

p "R".ord #=> 82
p 117.chr #=> "u"

Comments

[yoshiky]

ご回答ありがとうございます。「バイナリ」「文字コード」などのキーワードを中心に、コンピュータの基礎的な部分から学習しなおしてみます。

「文字コード」といっても、エンコードがSJISなりUTF8によって、結果は変わってくると思っています。
＞"\x01"は、1という値を持つ1バイトのRuby文字列表現。
ということですが、下記URLの表とは関係がないのでしょうか。16進数で表したら\x01 , 10進数なら1、といった理解です。（7の時\x07ではなく\aになる理由が分かりませんが。。）

ASCII文字コード対応表 - National Instruments
http://digital.ni.com/public.nsf/allkb/D831B5F2D5CA212E86257A21002055E6

[otn]

> エンコードがSJISなりUTF8によって、結果は変わってくると思っています。

そうですね。回答したのはUS-ASCII互換のエンコーディングについてです。普通に使うエンコーティング大部分が該当します。US-ASCII互換でない例外は、UTF-16、UTF-32くらいでしょうか。

> 下記URLの表とは関係がないのでしょうか。

文字列の話なので、当然関係あります。その表のＮＵＬをRubyは "\x00"と表し、Aを"A"と表し、ESCを"\e"と表します。

> 7の時\x07ではなく\aになる理由が分かりませんが

直接には、Ｃの記法に倣ったためです。さらに理由としては、そのコードはBEL(ベル・・・端末の音を鳴らす）なので、「アラート（警告）」という意味でaが採用されています。主に警告のときにベルを鳴らすので。

Rubyが各ASCII文字をどのように表示するかは、下記でわかります。
p (0..127).to_a.pack("C*")

[ozwk]

数値10は制御文字としてはLF(改行)で、16進数表記だと\x0Aで、(エスケープシーケンス+文字)表記だと\n
数値7は制御文字としてはBEL(ベル)で、16進数表記だと\x07で、(エスケープシーケンス+文字)表記だと\a
数値1は制御文字としてはSOH(ヘッダ開始)で、16進数表記だと\x01で、(エスケープシーケンス+文字)表記はない

[yoshiky]

お2人ともご解説ありがとうございました。
一つ調べると3つくらい分からない用語が増えますが、調べるべき内容が分かりました！

ちょっと勉強して出直してきます。

[otn]

訂正です。
US-ASCII互換でも、UTF-8だと、「1という値を持つ1バイト」のRubyでの文字列表現は"\u0001"のようになってしまいますね。値としては、US-ASCIIの"\x01"と同じなのですが。

Answer 2

例えばrubyで下記のコードを実行した結果、下記の通りになったのですが変換後の値("\x01"や"\a")はどこから出てきたのでしょうか。ASCIIコードではないですよね。

いえ、ASCIIコードです。1や7をバイト列に変換して、さらにそれを文字として解釈したのが\x01なり\a（\x07と同じ）です。

プログラム上でそういったバイナリファイルを扱う際にpackを使うのかなー、といった程度の理解だったのですが、

前提知識がないため、いくら調べても分かりませんでした。

packやunpackを使う場面は、「バイナリで記録されたファイルを扱う」とか、「ネットワーク上を流れるバイナリデータを変換する」とか、通常はそのような前提があります。Rubyの世界だけで見ている場合は、なかなか使う機会はないと思いますし、ほぼお世話にはならないです。

Comments

[maisumakun]

というより、何のためにpack/unpackを使うのかが気になります（Rubyだけでも、コードゴルフのような特殊な場面で使うこともなくはないですが）。

[yoshiky]

ご回答ありがとうございます。調べなおしたところ、確かに変換される値はASCII文字でした。
[7].pack('C*')の結果出力された「\a」はASCIIコード表では「エスケープシーケンス」というもので、10進数で表すと7なのですね。 [1].pack('C*')の結果も16進数で返ってきたので、ASCII文字だと気づきませんでした。

[自己解決の補足]
[1].pack('C*') => \x01
※レシーバである[1]はASCIIコードの1で10進数で表現されており、結果の\x01はASCIIコードの1（10進数）を16進数で表現したもの、と理解しました。また、packの引数に指定するフォーマットをC*から別のものに変えたら、結果も16進数以外のものになる、と。

＞何のためにpack/unpackを使うのかが気になります
使うことはないと思ってスルーしてたのですが、自前の暗号処理メソッドを作っていた知人が使っていたので、調べていた次第です。