Unicodeとutf-8とutf-16の違い

Question

コンピュータで文字を表現するには表現したい文字をすべて一つのダブりなくコンピュータが分かる２進数に対応させないといけない。そして、Unicodeは表現したい文字の集合ってだけだからそのUnicodeに含まれる文字すべてをダブりのない２進数（これをcode pointと言う)に対応させないといけない。どういう対応規則を使うかが、utf-8,utf-16の違いである。と言うところまでは一応理解しました。
ところが、Unicode code pointsなるものが存在することを知りました。Unicodeは文字の集合なわけですからUnicode code pointsとは何なのかわからなくなりました。

Unicodeにcode pointsがあるならutf-8もutf-16もいらない気がするのですがどういうことなのでしょうか？
Unicode code pointsとutf-8のcode points、utf-16のcode pointsは何が違うのでしょうか？
結局、Unicodeは「文字の集合」なのか「文字の集合＋対応規則」なのかどちらなのでしょうか？
code pointsがあるということは（それらは対応規則によって生成されているわけだから）対応規則があるということでUnicodeは「文字の集合＋対応規則」ということになるのでしょうか？

Comments

[maisumakun]

「対応規則」とはどういう意味でしょうか？

[greenleave10000]

utf-8とかutf-16が文字集合の中の文字と二進数の列を対応付ける一種の写像に見えたので。

[t_obara]

http://tutorials.jenkov.com/unicode/index.html
こちらがわかりやすいと思いますが、「Unicode code points」というキーワードをご存知ということであれば、それを読んだ上での質問でしょうか？

[greenleave10000]

拝見させていただきました。たしかにUnicode code pointsは”an integer value”と書かれていました。バイト列は二進数ですから、UTF-32と同じ数を使ってるだけで、ただの整列番号のようなものであるということですね。UTF-32の符号化バイト列もUnicode code pointsも十六進数表記だったのも勘違いの一つの原因だったようです。

Answer 1

Unicodeにcode pointsがあるならutf-8もutf-16もいらない気がするのですがどういうことなのでしょうか？

Unicodeにコードポイントがあってもなくても、UTF-8・16・7・Punycodeなどの様々なエンコーディング(符号化方式)は必要に応じて使い分けるために複数生まれます。

Unicode code pointsとutf-8のcode points、utf-16のcode pointsは何が違うのでしょうか？

コードポイントという言葉の意味を理解されていないようです。
UnicodeコードポイントはUnicodeの各文字に割り当てられた数です。エンコーディングに依存せず一意です。
UTF-8や16にはそれぞれエンコード(符号化)されたバイト列が存在しますが、それらはコードポイントではありません。

結局、Unicodeは「文字の集合」なのか「文字の集合＋対応規則」なのかどちらなのでしょうか？

code pointsがあるということは（それらは対応規則によって生成されているわけだから）対応規則があるということでUnicodeは「文字の集合＋対応規則」ということになるのでしょうか？

あまりUnicodeのコードポイントを「対応規則」と考えたことはありませんでしたが確かにそうも考えられますね。そのような解釈もあってよいと思います。
ただしその対応規則は主に人間向けであってコンピュータで扱うのには向いていいません。

Unicode code pointsというのはutf-32のcode pointsと同じってことですか。

先述のとおり「UTF-32のコードポイント」は無いのでUTF-32の符号化バイト列と解釈します。
数値としては同じですが、UTF-32の符号化バイト列は32ビットなのに対し、コードポイントはビット数などは定義されていないただの「数」なのが異なります。

Comments

[greenleave10000]

>数値としては同じですが、UTF-32の符号化バイト列は32ビットなのに対し、コードポイントはビット数などは定義されていないただの「数」なのが異なります。

なるほどそういうことでしたか。ありがとうございます。

Answer 2

結局、Unicodeは「文字の集合」なのか「文字の集合＋対応規則」なのかどちらなのでしょうか？

「文字の集合」ですが、文字コードというものの性質上、「何が入るかだけ決めておいて順番は定義しない」ではほぼ役に立ちません。

なので、文字集合にも番号は振られています。JIS X 0208では「区・点」のような抽象的な番号が振られていて、もちろんこれでも構わないのですが、Unicodeの場合は21ビット（元来は31ビット）の空間に直接置いています。

なお、「Unicodeの文字番号をそのまま32ビットに広げて使う」というエンコード方式もあって、「UTF-32」と呼ばれます。

Answer 3

Unicodeは文字集合で、UTFなんちゃらはその文字集合を表現するための文字コードですね

Comments

[greenleave10000]

Unicode code pointsは文字集合を表現する文字コードではないのでしょうか？

[y_waiwai]

違いますね。
Unicodeは１文字何バイトなんでしょうか。まずはそれを考えてみましょう

[greenleave10000]

１文字何バイトかがutf-8やutf-16で違うんですよね。