文字列中の漢字の割合を調べたい

Question

###前提・実現したいこと
テキストファイルの文字列から漢字の割合を測定する

###発生している問題・エラーメッセージ

ユニコードでの漢字の抽出の仕方がわからない

###該当のソースコード

import fileinput
import json
import unicodedata

def isKanji(char):
    # 引数が漢字ならTrue,さもなければFalseを返す
    if '亜' <= char <= '話':
        return True
    return False

def Kanji(string):
    # 引数の中の漢字を返す
    string = unicodedata(string)
    for i in string:
        if isKanji(i):
            print
            i.encode("japanese.sjis"),
    print("\n")


if __name__ == '__main__':
    for line in fileinput.input('-'):
        lines = isKanji(line)
        m = Kanji(lines)
    print(m)```

###試したこと
どうしてもわかりません

###補足情報(言語/FW/ツール等のバージョンなど)
言語処理100本ノックのウィキのjsonデータを使っています

Answer 1

CJKで判別すればいけそうですね。CJKはChinese/Japanese/Koreanで共通に利用している文字らしいです。

https://en.m.wikipedia.org/wiki/CJK_Unified_Ideographs

>>> import unicodedata
>>> unicodedata.name('あ')
'HIRAGANA LETTER A'
>>> unicodedata.name('ア')
'KATAKANA LETTER A'
>>> unicodedata.name('人')
'CJK UNIFIED IDEOGRAPH-4EBA'
>>> unicodedata.name('櫻')
'CJK UNIFIED IDEOGRAPH-6AFB'
>>> unicodedata.unidata_version
'8.0.0'

Comments

[YouheiSakurai]

>>> unicodedata.name('龥')
'CJK UNIFIED IDEOGRAPH-9FA5'
>>> unicodedata.name('\u9FA5')
'CJK UNIFIED IDEOGRAPH-9FA5'
>>> unicodedata.name('\u9FA6')
'CJK UNIFIED IDEOGRAPH-9FA6'
>>> print('\u9FA6')
龦

[YouheiSakurai]

>>> unicodedata.ucd_3_2_0.name('\u9FA6')
Traceback (most recent call last):
File "<string>", line 1, in <module>
ValueError: no such name

[KSwordOfHaste]

name()の結果が漢字なら先頭が必ず'CJK 'で始まるように思えるので
unicodedata.name(c)[:4] == 'CJK '
みたいな感じで良いのでしょうか・・・

[YouheiSakurai]

それも良いと思いますが「unicodedata.name(c).startswith('CJK ') 」や「'CJK' in unicodedata.name(c).split()」といった方法もありだと思います。

[KSwordOfHaste]

あ・・・startswithがあるのですね・・・。コメントありがとうございました。

Answer 2

import re

rkan = re.compile("[一-龥]")

rtxt = "平仮名とカタカナと漢字"
foundkanji = rkan.findall(rtxt) 
print(rtxt)
print(foundkanji)
print(len(foundkanji))
print(len(foundkanji)/len(rtxt))

漢字を指定する正規表現として上記の範囲指定は厳密には正しく無いらしいですね。
regexと云うモジュールを使って次のようにするのが良いらしいです。

import regex
regex.findall(r'\p{Han}',rtxt)