回答編集履歴
8
微修正
test
CHANGED
|
@@ -86,7 +86,7 @@
|
|
|
86
86
|
|
|
87
87
|
> こ|の|よ|う|に|母|音|を|まっ|た|く|含|ま|な|い|チェ|コ|語|の|文|の|例|と|し|て|は|他|に|も|Vlk‖zmrzl,‖zhltl‖hrst‖zrn|（凍っ|た|狼|が|一|掴|み|の|穀|物|を|飲|み|込|む）|な|ど|が|あ|る。
|
|
88
88
|
|
|
89
|
-
「
|
|
89
|
+
「|」と「‖」で改行可能な位置を示しました。「‖」の箇所はU+0020 (空白) があるため、ここで改行した場合は1桁減ります。このようにして改行可能な位置を見つけていき、適切な箇所で改行します。
|
|
90
90
|
|
|
91
91
|
日本語の禁則処理の詳細については下記を参照してください。
|
|
92
92
|
* W3C. 「[日本語組版処理の要件](https://www.w3.org/TR/jlreq/)」(JLREQ).
|
|
@@ -108,7 +108,7 @@
|
|
|
108
108
|
|
|
109
109
|
### 雑多な補足
|
|
110
110
|
|
|
111
|
-
- 結合文字の処理について。結合文字は必ず他の文字の後につきますが、これがついても元の文字の文字幅が増えることはありませんし、分割可否ルールは変化しません。一方で結合文字との間は絶対に分割禁止です。つまり、入力に結合文字が現れたらそのまま出力しなければなりませんが、文字幅の計算や改行の可否判断はあたかもその結合文字が存在しないかのようにして行います (ちなみに結合文字はひとつの文字に複数つく場合もあります)。
|
|
111
|
+
- 結合文字の処理について。結合文字は必ず他の文字の後につきますが、これがついても元の文字の文字幅が増えることはありませんし、分割可否ルールは変化しません。一方で結合文字と先行する文字との間は絶対に分割禁止です。つまり、入力に結合文字が現れたらそのまま出力しなければなりませんが、文字幅の計算や改行の可否判断はあたかもその結合文字が存在しないかのようにして行います (ちなみに結合文字はひとつの文字に複数つく場合もあります)。
|
|
112
112
|
- ユニコードではひとつの文字を何通りかの方法で表せる場合があるので、一つの表しかたに揃える「正規化」という前処理を行うことが推奨されます。よく使われる正規化の形式は正規化形式C (NFC) というものです。「[Unicode正規化](https://ja.wikipedia.org/wiki/Unicode正規化)」を参照。
|
|
113
113
|
- 禁則処理への対応として「[ぶら下げ組み](https://ja.wikipedia.org/wiki/ぶら下げ組み)」が行われることがあります。JLREQではこれについて触れていませんが、おそらく商業出版の書籍で縦書きのもの (漫画は除く) のほとんどがぶら下げ組みを採用しています。ご質問で想定されているようなプレインテキストでの改行処理でも、行末禁則の効果で行の右端が削れてしまうことをぶら下げ組みによって減らせるので、検討してみてもよいかもしれません。
|
|
114
114
|
|
7
加筆: 雑多な補足。回答終わり。
test
CHANGED
|
@@ -106,7 +106,11 @@
|
|
|
106
106
|
b. 欧文の文字と同様、互いに分離禁止にする。
|
|
107
107
|
ただしいずれの場合も、U＋FF9E「ﾞ」(半角濁点) とU+FF9F「ﾟ」(半角半濁点) の直前は分割禁止とします。
|
|
108
108
|
|
|
109
|
-
###
|
|
109
|
+
### 雑多な補足
|
|
110
110
|
|
|
111
|
-
後
|
|
111
|
+
- 結合文字の処理について。結合文字は必ず他の文字の後につきますが、これがついても元の文字の文字幅が増えることはありませんし、分割可否ルールは変化しません。一方で結合文字との間は絶対に分割禁止です。つまり、入力に結合文字が現れたらそのまま出力しなければなりませんが、文字幅の計算や改行の可否判断はあたかもその結合文字が存在しないかのようにして行います (ちなみに結合文字はひとつの文字に複数つく場合もあります)。
|
|
112
|
+
- ユニコードではひとつの文字を何通りかの方法で表せる場合があるので、一つの表しかたに揃える「正規化」という前処理を行うことが推奨されます。よく使われる正規化の形式は正規化形式C (NFC) というものです。「[Unicode正規化](https://ja.wikipedia.org/wiki/Unicode正規化)」を参照。
|
|
113
|
+
- 禁則処理への対応として「[ぶら下げ組み](https://ja.wikipedia.org/wiki/ぶら下げ組み)」が行われることがあります。JLREQではこれについて触れていませんが、おそらく商業出版の書籍で縦書きのもの (漫画は除く) のほとんどがぶら下げ組みを採用しています。ご質問で想定されているようなプレインテキストでの改行処理でも、行末禁則の効果で行の右端が削れてしまうことをぶら下げ組みによって減らせるので、検討してみてもよいかもしれません。
|
|
112
114
|
|
|
115
|
+
最後に、ご質問の課題はおそらく自分で実装することに意義があるのだと思われますのでこれは関係ないかと思いますが、以上説明してきたようなさまざまな処理 (文字幅の特性の判別、改行処理、正規化処理など) を行うライブラリパッケージもあります。[ICU](https://icu.unicode.org/)はよく使われます。
|
|
116
|
+
|
6
加筆: STEP 3
test
CHANGED
|
@@ -68,7 +68,45 @@
|
|
|
68
68
|
|
|
69
69
|
それぞれのユニコード文字に割り当てられた特性値の情報は[こちら](https://www.unicode.org/Public/UCD/latest/ucd/EastAsianWidth.txt)からダウンロードできます (テキストファイル、約200kB。全てのユニコード文字についての情報なのでJIS X 0213に収載されていない文字も含みます)。
|
|
70
70
|
|
|
71
|
+
### \#3 行頭に「。」や「、」などが来ないように、改行位置を調整
|
|
72
|
+
|
|
73
|
+
行頭禁則や行末禁則の処理ですね。
|
|
74
|
+
|
|
75
|
+
一般に閉じ括弧、句読点、音引き、小書き仮名などは行頭に来ないようにします。つまりこれらの直前では改行して行を分割することは禁止されます。同様に開き括弧などは行末に来ないようにします。つまりこれらの直後では改行して行を分割することは禁止されます。さらに、分割禁止のルールとしては、欧文の単語の途中では改行してはならないといったものもあります。
|
|
76
|
+
|
|
77
|
+
これらを考えてみると、例えば次のような場合 (かなりわざとらしい例ですが)
|
|
78
|
+
```
|
|
79
|
+
（「『trueだぁーっ!!』。」。)?
|
|
80
|
+
```
|
|
81
|
+
では、「e」と「だ」の間でしか行を分割できません。他の箇所には改行を入れられないことになります。
|
|
82
|
+
|
|
83
|
+
ここへ来て、冒頭に示した一文字ずつ読んですぐ出力するコードでは処理がうまくいかなくなります。読んだものをある程度メモリ上のバッファに置いておき、改行できる位置が見つかったら出力するようなコードが必要です。——ただ、質問者さんがそのようなコードを書き始めるのはどんなに早くても数ヶ月は先の話でしょうから、今からコード例などを示して予断を与えるようなことは控えます。
|
|
84
|
+
|
|
85
|
+
少しだけ説明します。#1 で挙げたテキストを例にすると、改行可能な位置は次のようになります。
|
|
86
|
+
|
|
87
|
+
> こ|の|よ|う|に|母|音|を|まっ|た|く|含|ま|な|い|チェ|コ|語|の|文|の|例|と|し|て|は|他|に|も|Vlk‖zmrzl,‖zhltl‖hrst‖zrn|（凍っ|た|狼|が|一|掴|み|の|穀|物|を|飲|み|込|む）|な|ど|が|あ|る。
|
|
88
|
+
|
|
89
|
+
「｜」と「‖」で改行可能な位置を示しました。「‖」の箇所はU+0020 (空白) があるため、ここで改行した場合は1桁減ります。このようにして改行可能な位置を見つけていき、適切な箇所で改行します。
|
|
90
|
+
|
|
91
|
+
日本語の禁則処理の詳細については下記を参照してください。
|
|
92
|
+
* W3C. 「[日本語組版処理の要件](https://www.w3.org/TR/jlreq/)」(JLREQ).
|
|
93
|
+
特に[3.1.7](https://www.w3.org/TR/jlreq/#characters_not_starting_a_line)「行頭禁則」、[3.1.8](https://www.w3.org/TR/jlreq/#characters_not_ending_a_line)「行末禁則」、[3.1.10](https://www.w3.org/TR/jlreq/#unbreakable_character_sequences)「分割禁止」。また[付録C](https://www.w3.org/TR/jlreq/#possibilities_for_linebreaking_between_characters)に分割可否ルールの具体的な内容が説明されています。
|
|
94
|
+
|
|
95
|
+
以下は余談です。
|
|
96
|
+
|
|
97
|
+
* \#1 で、欧文の単語の間の改行について「単に改行を無視するのではなくU+0020 (空白) に置き換えるべきでしょう」と述べました。どういう場合に改行を空白に置き換えるべきかは、分割可否ルールから導くことができます。
|
|
98
|
+
つまり、「Vlk」と「zmrzl」の間にもともと何もなかったのであればkとzの間での分割は禁止されるので、改行することはできなかったはずです。したがって分割禁止にならないように改行に代えて空白を挿入する必要があります。いっぽう「ど」と「が」の間は分割禁止ではないので、単に改行を無視できます。
|
|
99
|
+
|
|
100
|
+
* \#0 のウィキペディアの記事でも、上のJLREQでも、文字の一覧にいわゆる「全角英数」や「半角仮名」が挙げられていないのに気づかれたかもしれません。JIS X 0213のような文字コード規格ではこれらのものは過去の遺産であり、今後は基本的に使うべきではないという立場です (完全に禁止しているわけではないですが)。そのため一覧に挙がっていません。
|
|
101
|
+
- 全角形の文字の分割可否ルールについては、次のいずれかの方法があります。
|
|
102
|
+
a. 対応するASCIIの文字と同じルールにする。
|
|
103
|
+
b. 漢字などのいつでも前後どちらでも分割可能な文字と同じルールにする。
|
|
104
|
+
- 半角形の文字の分割可否ルールについては、次のいずれかの方法があります。
|
|
105
|
+
a. 対応する「全角」の片仮名や句読点と同じルールにする。
|
|
106
|
+
b. 欧文の文字と同様、互いに分離禁止にする。
|
|
107
|
+
ただしいずれの場合も、U＋FF9E「ﾞ」(半角濁点) とU+FF9F「ﾟ」(半角半濁点) の直前は分割禁止とします。
|
|
108
|
+
|
|
71
109
|
### (続く)
|
|
72
110
|
|
|
73
|
-
後ほど
|
|
111
|
+
後ほどもう少しだけ加筆します。
|
|
74
112
|
|
5
一箇所訂正
test
CHANGED
|
@@ -50,7 +50,7 @@
|
|
|
50
50
|
「Vlk」と「zmrzl」は別の単語ですから、単に改行を無視するのではなくU+0020 (空白) に置き換えるべきでしょう。いっぽう「ど」と「が」の間の改行は無視しなければなりません。
|
|
51
51
|
|
|
52
52
|
決まった文字数ごとに改行を入れるには、読み込んだ文字数によって改行を入れればよい *わけではありません*。複数のユニコード文字で文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせでひとつの文字になっています。つまりこの語はユニコード文字としては5文字ですが、文字数を数えると4文字です。
|
|
53
|
-
U+309Aは先行する文字に半濁点をつける結合文字 (単独では使われず必ず他の文字の後につくユニコード文字) です。JIS X 0213に収載されている文字に使われる結合文字としてはこのほかにU+0300 (鈍アクセントをつける) やU+0301 (鋭アクセントをつける) があります。
|
|
53
|
+
U+309Aは先行する文字に半濁点をつける結合文字 (単独では使われず必ず他の文字の後につくユニコード文字) です。JIS X 0213に収載されている文字に使われる結合文字 ~としてはこのほかにU+0300 (鈍アクセントをつける) やU+0301 (鋭アクセントをつける) があります。~ でこれ以外のものは U+0300 〜 U+0361 の範囲にありますから、これらのコード範囲にあるものは結合文字として処理していいでしょう。〔2024-05-24訂正〕
|
|
54
54
|
|
|
55
55
|
### \#2 文字幅を 2 : 1 (全角と半角) に
|
|
56
56
|
|
4
微加筆
test
CHANGED
|
@@ -49,7 +49,8 @@
|
|
|
49
49
|
```
|
|
50
50
|
「Vlk」と「zmrzl」は別の単語ですから、単に改行を無視するのではなくU+0020 (空白) に置き換えるべきでしょう。いっぽう「ど」と「が」の間の改行は無視しなければなりません。
|
|
51
51
|
|
|
52
|
-
決まった文字数ごとに改行を入れるには、読み込んだ文字数によって改行を入れればよい *わけではありません*。複数のユニコード文字で文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせでひとつの文字になっています。
|
|
52
|
+
決まった文字数ごとに改行を入れるには、読み込んだ文字数によって改行を入れればよい *わけではありません*。複数のユニコード文字で文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせでひとつの文字になっています。つまりこの語はユニコード文字としては5文字ですが、文字数を数えると4文字です。
|
|
53
|
+
U+309Aは先行する文字に半濁点をつける結合文字 (単独では使われず必ず他の文字の後につくユニコード文字) です。JIS X 0213に収載されている文字に使われる結合文字としてはこのほかにU+0300 (鈍アクセントをつける) やU+0301 (鋭アクセントをつける) があります。
|
|
53
54
|
|
|
54
55
|
### \#2 文字幅を 2 : 1 (全角と半角) に
|
|
55
56
|
|
3
加筆: STEP 2
test
CHANGED
|
@@ -51,8 +51,23 @@
|
|
|
51
51
|
|
|
52
52
|
決まった文字数ごとに改行を入れるには、読み込んだ文字数によって改行を入れればよい *わけではありません*。複数のユニコード文字で文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせでひとつの文字になっています。U+309Aは先行する文字に半濁点をつける結合文字 (単独では使われず必ず他の文字の後につくユニコード文字) です。JIS X 0213に収載されている文字に使われる結合文字としてはこのほかにU+0300 (鈍アクセントをつける) やU+0301 (鋭アクセントをつける) があります。
|
|
53
53
|
|
|
54
|
+
### \#2 文字幅を 2 : 1 (全角と半角) に
|
|
55
|
+
|
|
56
|
+
これは、STEP 1のように文字数で改行位置を決めるのではなく、文字の幅を基準にして一定幅で改行するようにするということですね。個々の文字の文字幅の情報が与えられたとしてどのようなコードを書けばいいかは、ご自分で考えてください。
|
|
57
|
+
|
|
58
|
+
[全角と半角](https://ja.wikipedia.org/wiki/全角と半角)の区別は歴史的な事情によるもので、全ての文字がこの区別を持っているわけではないのですが、大まかに言うとASCII文字など欧文の文字・記号は半角、和文のそれは全角とされ、違う幅で表示されます。ユニコードではこの幅に関連して全ての文字を6種類に分類しています (「[東アジアの文字幅](https://ja.wikipedia.org/wiki/東アジアの文字幅)」を参照)。
|
|
59
|
+
全角と半角を区別して処理する場合、これらのうち特性F (全角) とW (広) は全角として2桁の幅、特性H (半角)、Na (狭)、N (中立) を半角として1桁の幅とすればよいでしょう。
|
|
60
|
+
|
|
61
|
+
やっかいなのが特性A (曖昧) に分類される文字で、欧文では全角ではない (欧文にはもともと全角の文字はないので) のに、日本語など東アジアの言語の等幅フォントではしばしば全角で作られてきたものです。そのため表示環境によって全角に見えたり半角に見えたりすることがあります。たとえば次のようなものです。
|
|
62
|
+
|
|
63
|
+
* ギリシャ文字やキリル文字。テキスト中にギリシャ語やロシア語などの単語が出てくるのなら全角で表示するのは好ましくないですが、そのように表示されている例もよく見かけます。
|
|
64
|
+
* 6/9形の引用符 “……” (U+201C, U+201D)、‘……’ (U+2018, U+2019) も悩むところです。日本語の等幅フォントなどでは全角の文字として表示されますが、欧文ではそうではありません。形も微妙に変わります (全角のときは左や右に空きが取られ、引用符が字面の端に寄った形になります)。
|
|
65
|
+
|
|
66
|
+
これら特性Aの文字は実際の表示環境に合わせて (想定環境を定められない場合は何らかの基準を設けて) 全角か半角かに決める必要があります。
|
|
67
|
+
|
|
68
|
+
それぞれのユニコード文字に割り当てられた特性値の情報は[こちら](https://www.unicode.org/Public/UCD/latest/ucd/EastAsianWidth.txt)からダウンロードできます (テキストファイル、約200kB。全てのユニコード文字についての情報なのでJIS X 0213に収載されていない文字も含みます)。
|
|
54
69
|
|
|
55
70
|
### (続く)
|
|
56
71
|
|
|
57
|
-
後ほど
|
|
72
|
+
後ほどまた加筆します。
|
|
58
73
|
|
2
微修正
test
CHANGED
|
@@ -32,26 +32,27 @@
|
|
|
32
32
|
|
|
33
33
|
* レパートリの選定
|
|
34
34
|
ユニコードに収載された全ての文字を対象にすることは現実的ではありませんので、ここでは日本語の文書に現れる文字を処理の前提とすることにします。このような文字集合の公的規格としては[JIS X 0213](https://ja.wikipedia.org/wiki/JIS_X_0213)があります。以降の説明では扱う文字の範囲をこれに準拠します。
|
|
35
|
-
リンク先を見てわかるとおり、「日本語の文書」には伝統的な日本語の文字 (平仮名、片仮名、漢字) 以外にもラテン文字、ギリシャ文字、キリル文字、アイヌ語用片仮名、発音記号、その他のさまざまな記号など
|
|
35
|
+
リンク先を見てわかるとおり、「日本語の文書」には伝統的な日本語の文字 (平仮名、片仮名、漢字) 以外にもラテン文字、ギリシャ文字、キリル文字、アイヌ語用片仮名、発音記号、その他のさまざまな記号などが含まれます。
|
|
36
36
|
|
|
37
37
|
* 改行の扱い
|
|
38
|
-
入力されるテキストによって、改行のコードが `"\n"`、`"\r\n"`、`"\r"` などである可能性があります。したがってなんらかの方法で改行の正規化が必要です。以降の説明では入力テキストの改行はUnixの標準的な改行コード `"\n"` に正規化ずみであるとします。
|
|
38
|
+
入力されるテキストによって、改行のコードが `"\n"`、`"\r\n"`、`"\r"` などである可能性があります。したがってなんらかの方法で改行の正規化が必要です (何らかの前処理をしてもいいでしょうし、テキストを読み込むコードの中で行ってもいいでしょう)。以降の説明では入力テキストの改行はUnixの標準的な改行コード `"\n"` に正規化ずみであるとします。
|
|
39
39
|
|
|
40
|
-
### \#1 入力に含まれる改行は無視 / 決まった文字数ご とに改行を入れて整形
|
|
40
|
+
### \#1 入力に含まれる改行は無視 / 決まった文字数ご とに改行を入れて整形
|
|
41
41
|
|
|
42
42
|
これは上のコードで可能ですね。改行文字 U+000A (`"\n"`) を読み込んだら無視すればいいです。
|
|
43
43
|
|
|
44
|
-
しかし、後
|
|
44
|
+
しかし、後述するように「欧文の単語を分割しない」という処理を想定するなら、逆に入力されるデータでは欧文の単語同士の間に改行が入っている可能性を考える必要があるのではないでしょうか。例 ([こちら](https://ja.wikipedia.org/wiki/Str%C4%8D_prst_skrz_krk)より):
|
|
45
45
|
```
|
|
46
46
|
このように母音をまったく含まないチェコ語の文の例としては他にもVlk
|
|
47
47
|
zmrzl, zhltl hrst zrn（凍った狼が一掴みの穀物を飲み込む）など
|
|
48
48
|
がある。
|
|
49
49
|
```
|
|
50
|
-
「Vlk」と「zmrzl」は別の単語ですから、単に改行を無視するのではなくU+0020 (空白) に置き換えるべきで
|
|
50
|
+
「Vlk」と「zmrzl」は別の単語ですから、単に改行を無視するのではなくU+0020 (空白) に置き換えるべきでしょう。いっぽう「ど」と「が」の間の改行は無視しなければなりません。
|
|
51
51
|
|
|
52
|
-
決まった文字数ごとに改行を入れる
|
|
52
|
+
決まった文字数ごとに改行を入れるには、読み込んだ文字数によって改行を入れればよい *わけではありません*。複数のユニコード文字で文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせでひとつの文字になっています。U+309Aは先行する文字に半濁点をつける結合文字 (単独では使われず必ず他の文字の後につくユニコード文字) です。JIS X 0213に収載されている文字に使われる結合文字としてはこのほかにU+0300 (鈍アクセントをつける) やU+0301 (鋭アクセントをつける) があります。
|
|
53
53
|
|
|
54
54
|
|
|
55
55
|
### (続く)
|
|
56
56
|
|
|
57
57
|
後ほどさらに加筆します。
|
|
58
|
+
|
1
加筆1
test
CHANGED
|
@@ -28,6 +28,30 @@
|
|
|
28
28
|
|
|
29
29
|
しかし、これだけでは質問で挙げられているそれぞれの「STEP」を実現できません。以下、各STEPで検討すべき事項について、気づいた点を述べます。
|
|
30
30
|
|
|
31
|
+
### \#0 前提
|
|
32
|
+
|
|
33
|
+
* レパートリの選定
|
|
34
|
+
ユニコードに収載された全ての文字を対象にすることは現実的ではありませんので、ここでは日本語の文書に現れる文字を処理の前提とすることにします。このような文字集合の公的規格としては[JIS X 0213](https://ja.wikipedia.org/wiki/JIS_X_0213)があります。以降の説明では扱う文字の範囲をこれに準拠します。
|
|
35
|
+
リンク先を見てわかるとおり、「日本語の文書」には伝統的な日本語の文字 (平仮名、片仮名、漢字) 以外にもラテン文字、ギリシャ文字、キリル文字、アイヌ語用片仮名、発音記号、その他のさまざまな記号などを含みます。
|
|
36
|
+
|
|
37
|
+
* 改行の扱い
|
|
38
|
+
入力されるテキストによって、改行のコードが `"\n"`、`"\r\n"`、`"\r"` などである可能性があります。したがってなんらかの方法で改行の正規化が必要です。以降の説明では入力テキストの改行はUnixの標準的な改行コード `"\n"` に正規化ずみであるとします。
|
|
39
|
+
|
|
40
|
+
### \#1 入力に含まれる改行は無視 / 決まった文字数ご とに改行を入れて整形する
|
|
41
|
+
|
|
42
|
+
これは上のコードで可能ですね。改行文字 U+000A (`"\n"`) を読み込んだら無視すればいいです。
|
|
43
|
+
|
|
44
|
+
しかし、後の処理で「欧文の単語を分割しない」とする場合、反対に入力データでは欧文の単語同士の間に改行が入っている可能性を考える必要があるのではないでしょうか。例([こちら](https://ja.wikipedia.org/wiki/Str%C4%8D_prst_skrz_krk)より)
|
|
45
|
+
```
|
|
46
|
+
このように母音をまったく含まないチェコ語の文の例としては他にもVlk
|
|
47
|
+
zmrzl, zhltl hrst zrn（凍った狼が一掴みの穀物を飲み込む）など
|
|
48
|
+
がある。
|
|
49
|
+
```
|
|
50
|
+
「Vlk」と「zmrzl」は別の単語ですから、単に改行を無視するのではなくU+0020 (空白) に置き換えるべきではないでしょうか。いっぽう「ど」と「が」の間の改行は無視しなければなりません。
|
|
51
|
+
|
|
52
|
+
決まった文字数ごとに改行を入れるのは、読み込んだ文字数を数えて適宜改行を入れればよい *わけではありません*。ユニコードの複数文字で1文字が構成される場合があります。たとえば「[チタタㇷ゚](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%8C%E6%96%99%E7%90%86#%E3%83%81%E3%82%BF%E3%82%BF%E3%87%B7%E3%82%9A_citatap%EF%BC%88%E8%82%89%E3%82%84%E9%AD%9A%E3%81%AE%E3%81%9F%E3%81%9F%E3%81%8D%EF%BC%89)」の「ㇷ゚」は U+31F7 U+309Aという2つのユニコード文字の組み合わせで1文字になります。U+309Aはダイアクリティカルマークのひとつで、この場合は文字に半濁点をつけます。JIS X 0213に収載されている文字に使われるダイアクリティカルマークとしてはこのほかにU+0300やU+0301があります。
|
|
53
|
+
|
|
54
|
+
|
|
31
55
|
### (続く)
|
|
32
56
|
|
|
33
|
-
後ほど加筆します。
|
|
57
|
+
後ほどさらに加筆します。
|