日本語と英語の自然言語処理について

Question

英語に対応している（英語のデータを使っている）、文章要約を行うアルゴリズムを勉強しています。これを、日本語のデータを解析するものに作り変えたいのです。その場合前処理の部分を作り変えるといいと思うのですが、英語＝＞日本語に変更する場合どのように前処理を行うといいのでしょうか？
例えば、分かち書きは英語にはない前処理だと思うので、分かち書きが必要とか。

お願いします。

Comments

[hayataka2049]

手法によります、の一言。現状ではほとんど回答のしようがないと思います

Answer 1

分かち書きは英語にはない

ではなく、英語には分かち書きしかありません。
分かち書き
で、日本語処理をするには、文章中の文節の区切りを見つける必要が有ります。
上記サイトの「分かち書きの原則」をどう処理するかだと思います。

Comments

[cateye]

“分かち書きは英語にはない”　が、“すでに分かち書きされているものは分かち書きできない”という意味なら“英語には分かち書きしかありません。”は無視して下さい。

[pepperleaf]

分かち書きをするためにも構文解析が必要だったか、、、今、どの程度、この分野は進んでいるでしょうか?

[hayataka2049]

NLPで日本語の分かち書きといえば、一般的には形態素単位で行うかと

[cateye]

あまり詳しくないのですが、古くはICOT（第5世代コンピュータ）の推論マシンも自然言語処理であったと思いましたが、最近では確率論に根ざした推論が取り入れられているようです。“自然言語処理　確率”とかで検索すると結構ヒットします。・・・ただ、“まだまだ”でしょうね＾＾；
上記サイトからの引用になりますが、“あすはあめがふるてんきではない”は、明日は雨でしょうか晴れでしょうか・・・？　参考：http://chasen.org/~daiti-m/paper/jsai12nlp-future.pdf