カビパン男と私 > 電算 > 青空文庫「外字」を utf8 に変換

青空文庫「外字」を utf8 に変換

青空文庫のテキストは、JIS の第3第4水準の漢字が、たとえば

     ※［＃「榮」の「木」に代えて「糸」、第3水準1-90-16、90-2］

のように表現されている。そこで青空テキストを utf-8 でエンコードし直すときに、このように表記された第3第4水準の漢字を「縈」みたいに一文字に変換したい。

結論を先に示しておくと、大きな sed スクリプトを作った。

aozora_kanji.sed.zip

utf-8 に対応した sed で

cat aozora.txt | nkf -Lu -w | sed -f aozora_kanji.sed > aozora_utf8.txt

のようにすれば用は足りる。（nkf の -Lu オプションは改行コードを UNIX 式にしているだけなので蛇足）

この sed スクリプトは JIS X 0213:2004 に含まれる漢字・非漢字のほとんどを含んでいる（※）ために、1 万行以上におよぶ。一昔、二昔前なら考えられないことではあるが、結局昨今のコンピュータ事情においては、これは至極実用的なものだ。とはいえ、sed の種類や環境によっては使えないことも十分ありうるのでゴメン。

※「ト゚」のような字は JISX 0213:2004 には一文字として定てあるが、Unicode では二文字を合わせて表現することになっている。こうしたものはこの変換スクリプトには含まれていない。

メモ

では、いかにしてこの変換スクリプトを作成したか、メモしておきまする。

まず、変換前の形式

     ※［＃「榮」の「木」に代えて「糸」、第3水準1-90-16、90-2］

に何が書いてあるのかを見てみると、底本における位置を示した 90-2 という箇所を別にすれば、重要なのは 1-90-16 のみであります。これは JIS X 0213:2004 という文字集合のコードポイント（面区点と呼ばれる）でありますから、これさえわかれば、文字のグリフを特定することができるし、もしそれが漢字であるなら第何水準の漢字であるかもわかる。

さて、われわれの最終的な目的は utf-8 にコーディングすることにありますが、そのためにまず 1-90-16 のような JIS X 0213:2004 コードポイント(面区点)表記を、U+7E08 といった Unicode のコードポイント表記に直したい。

ところで、JIS X 0213:2004 と Unicode は別個に定められた文字集合でありますから、そのコーディングポイントを機械的に変換するということは、とうてい望めません。各々の規格が示すグリフを目視で比較して、各々のコードポイントを対応させないとならない。

   JIS X 0213:2004 の面区点 ────────────グリフ ────┐			     
							           ├── 目視で対応（うぎゃー）   
   Unicode のコードポイント─────────────グリフ────┘                      

そこで、コードポイント自体の対応表が存在すれば……と思って探すと、ありました。 JIS X 0213のコード対応表」 で入手できる「JIS X 0213:2004 漢字7ビット符号とUnicodeの対応表」であります。さらにこれは、「自由に使用・配布・改変等していただけます」ということであるわけで、何と有り難いことであります。

さっそくこの対応表を見てみますと、

    ## JIS  Unicode   Name                Note
    3-2121  U+3000  # IDEOGRAPHIC SPACE
    3-2122  U+3001  # IDEOGRAPHIC COMMA
    ....    ....    ....
    3-2E2F  U+4F49  # <cjk>            [2000]
    ....    ....    ....

という様子です。1 コラム目が、JIS X 0213:2004 のコードポイントを示しているのですが、これは面区点番号表示ではない。この表の最初にある註には、

     ##         3-XXXX  JIS X 0213:2004 plane 1 (GL encoding)
     ##         4-XXXX  JIS X 0213:2000 plane 2 (GL encoding)

となっています。

［独白開始］3- で始まるものは、JIS X 0213:2004 の 1 面、4- で始まるものは JIS X 0213:2004 の 2 面だというわけです。その後に続く 4 桁の数は、JIS X 0213:2004 の区点に対応するということでしょう。括弧の中に GL encoding と書いてありますが、これは iso-2022 に云う GL に呼び出して使うときのエンコーディングだというわけでありましょう。となると 0x21～0x7E (10進にすると33〜126)の94個の領域だけを使って区、点それぞれを表すという積りに違いありません。JIS X 0213:2004 は 1 面も 2 面も 94区94点から成っていて、区・点それぞれ 1〜94、1〜94 の値をとるのでありますから、これで不都合はないはずです。（ようするに、符号化方式 ISO-2022-JP-2004 のエスケープシーケンスのかわりに 3- とか 4- とか書いて、区・点のバイト列を10進2桁+10進2桁で表したものと言えそうです）。想像に誤りがあるかもしれませんが、ともかく次のように結論づけて間違いございますまい。［独白おわり］

JIS X 0213:2004 の1面 2面が、この表で 3- 4- によって表されている。JIS X 0213:2004 の区・点それぞれに10進で32(16進で20)を足して16進で表記してやれば、この表の XXXX という 4 桁の整数の上位 2 桁、下位 2 桁になる。

あとは、Unicode のコードポイントを、utf-8 にエンコーディングしてやれば、すべての企みが完了いたします。この、最後の部分は別のメモがございます。

   JIS X 0213:2004 の面区点──→ 面および 7 bit × 7 bitで符号化した表記────┐
   (青空テキスト)                                                                ├── ありがたい対応表
                                                                                 │
   utf-8 バイト列 ←─────── Unicode コードポイント  ←──────────┘                      

さて、これだけ色々考えたのでありますが、やっていることはようするに JIS X 0213:2004 の面区点 をutf-8 バイト列に 1 対 1で対応づけて置換するというだけのことであります。ようするに、これらの知識を使って sed のスクリプトを書いてしまえばよい。

   JIS X 0213:2004 の面区点
   (青空テキスト)
          │
          ├──── sed スクリプト
          ↓
   utf-8 バイト列

こうして作ったのが、最初に示した sed スクリプト aozora_kanji.sed.zip というわけあります。

——目次——

HOME
├雑文
├写真
├壁紙
├馬鹿
├読書
├語学
│├英語
│└日本語
├電算
├地理
│└白地図
└ブログ