概要

Unicodeには「ここからここは平仮名の領域」、「ここからここは漢字の領域」のように文字種に応じてブロックが決められている。

それらを利用すれば解析対象の文字列が「何語で書かれているか」をある程度判定できたり、エンコードがどれが一番確からしいか確認できたりする、かもしれない。

サンプルコードはJava1.6を使用。

JavaのUnicodeBlockによる平仮名・カタカナ・漢字の判定例

JavaのUnicodeBlockを使用すると、対象の文字列が平仮名であるかなどが判定できます。実行する前にjava.text.Normalizer.normalize使ってNFKCで正規化しておくと紛れが減るかもしれません。

// 平仮名判定（UnicodeBlock.HIRAGAN）
System.out.println( UnicodeBlock.of( 'あ' ) == UnicodeBlock.HIRAGANA );
    // => true
System.out.println( UnicodeBlock.of( 'ア' ) == UnicodeBlock.HIRAGANA );
    // => false

// カタカナ判定（UnicodeBlock.KATAKANA）
System.out.println( UnicodeBlock.of( 'ア' ) == UnicodeBlock.KATAKANA );
    // => true
System.out.println( UnicodeBlock.of( 'あ' ) == UnicodeBlock.KATAKANA );
    // => false

// 漢字判定（UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS）
System.out.println( UnicodeBlock.of( '言' ) == UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS );
    // => true
System.out.println( UnicodeBlock.of( 'ω' ) == UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS );
    // => false

Javaの正規表現を使った平仮名・カタカナ・漢字の判定

Perlにも似た表現があったり、Rubyは1.9から可能だったりするので、多くの言語で使えるはず。

// 平仮名4つ
System.out.println( "ひらがな".matches( "\\p{InHiragana}{4}" ) );
    // => true

// カタカナ4つ
System.out.println( "カタカナ".matches( "\\p{InKatakana}{4}" ) );
    // => true

// 漢字2つ
System.out.println( "漢字".matches( "\\p{InCjkUnifiedIdeographs}{2}" ) );
    // => true

指定文書でどのUnicodeブロックが使用されているか確認する

それぞれのブロックの意味についてはunicode.orgを見てもらうか、Wikipediaのこのページあたりを見てもらうかするとして、ここでは日本語で関わりがありそうなブロックのみを探してみることにします。

とりあえず文書を解析して、どのブロックが何度出現したかを調べる簡易コード。

// 解析対象文字
String str = "[Java]でUnicodeのブロックを、云々するソース。";

// NFKC（互換部品とそれに続く正規合成）をかけておく
str = Normalizer.normalize( str, Normalizer.Form.NFKC );

// どのブロックが何回使われたかカウントしてみる
Map<UnicodeBlock, Integer> result = new HashMap<UnicodeBlock, Integer>();
for( int i = 0; i < str.length(); i++ ) {
    UnicodeBlock block = UnicodeBlock.of( str.charAt( i ) );
    if( !result.containsKey( block ) ) {
        result.put( block, 0 );
    }
    result.put( block, result.get( block ) + 1 );
}

// 結果表示
for( Object key : result.keySet() ) {
    System.out.println( key + " : " + result.get( key ) );
}

// 結果
// => KATAKANA : 7
// => CJK_SYMBOLS_AND_PUNCTUATION : 3
// => CJK_UNIFIED_IDEOGRAPHS : 1
// => BASIC_LATIN : 13
// => HIRAGANA : 5

結果を見ての通り、「平仮名」は「HIRAGANA」、「カタカナ」は「KATAKANA」に分類され、「英字や記号」は「BASIC_LATIN」に分類されます。

漢字は「CJK_UNIFIED_IDEOGRAPHS」、句読点や「々」はCJK_SYMBOLS_AND_PUNCTUATIONに分類されているようです。

日本のサイトで実際に使用されているブロックを調べてみる

WEB上のjpドメインのページを2571個ほど適当に読み込んで（複数のポータルサイトからスタートして、本当に適当にリンクを辿ってもらいました）、各文書に登場するUnicodeBlockの数をカウントしてみました。

集計した文字数は全部で1億2千万くらい。タグを外して（というかDOMのTEXTの部分だけ読んで）、半角スペースを排除していますが、ScriptとかStyleタグの中身はカウントされいます。ので、英字・記号の発生率は普通の文書より高めになっていると思います。

けして多い母数とは言えないのと、エンコード失敗してる場合もあると思うので（レスポンスヘッダ見て指定してなければmeta見て判定はしてます）、まぁ、参考までの数値として。

見ての通り、BASIC_LATIN（基本ラテン文字）、CJK_UNIFIED_IDEOGRAPHS（漢字）、HIRAGANA（平仮名）、KATAKANA（カタカナ）の4種類だけで全体の97.78%をカバー出来ています。

次に数の多いCJK_SYMBOLS_AND_PUNCTUATION（句読点とか）を加えると、99.68%。たいていの日本語の文はこの5種類で構成されていると思って良さそうです。

ちなみにこの結果は直前でNFKCで正規化しています。正規化しない場合は、HALFWIDTH_AND_FULLWIDTH_FORMS（全角記号とか半角カナなど）が1%程度発生していました。