历史悠久的泱泱中华,文化博大精深,文字独一无二,且能没有一套属于自己的计算机编码。1980年,为了使每个汉字有一个全国统一的编码,我国颁布了汉字编码的国家标准:GB2312-80《信息交换用汉字编码字符集》基本集,这个字符集是我国中文信息处理技术的发展基础,也是国内所有汉字系统的统一标准。将一些常用符号及汉字,按区与位的方式编入码表,这套编码便是区位码。
一、区位码
区位码是一个四位的十进制数,高两位为区码(01-94),低两位为位码(01-94),由此组成一个94×94的矩阵,每个码值都对应着一个唯一的符号或汉字。如下图示:
图1. 第01区 特殊符号
图2. 汉字区位码对照表
说明:‘啊’的区位码为1601,区码为16,位码为01。
图3. 多音字‘腌’
说明:这种编码经过加工整理一律以汉语拼音的字母为序, 音节相同的字以使用频率为序,其查找方法与一般汉语字典的汉字拼音音节索引查找法相同。由于它是一种无重码的汉字编码,所以多音字只有一个编码。例如:重庆的“重”和重量的“重”,字同音不同,汉字“重”的编码是按Zhong 音编码。
由图2,图3所示,按拼音音节索引时,编码并不连续,这是因为汉字被分级处理,一级汉字相对更为常用。如下图示:
图4. 区段说明
说明:在某些硬件指标相对偏低的平台上可能依然还在使用着一级码汉字。
二、国标码
汉字区位码定义好后融入计算机,发现少了一些控制符,如回车,换行,退格等,同时ASCII编码中前32个控制码刚好包含了这些,那就借来用用吧!为此,国标码诞生了。为了兼容这些控制码,国标码规定在区码、位码的基础上分别加20H(即32的16进制数)。例如:汉字‘啊’的区位码为1601,则区码为16,位码为01,转换成16进制后,区码为10H,位码为01H,转国标码,则区码10H 20H=30H,位码01H 20H=21H,合成后国标码为3021H;
图5. 国标码
说明:图5为Mac系统中的16点阵中文国标码点阵字库,‘啊’的国标码为3021H。
三、机内码
这里特指汉字机内码,简称“内码”,亦称“变形国标码”,指计算机内部存储,处理加工和传输汉字时所用的由0和1符号组成的代码。
国标码虽说很好地解决了控制字符问题,但随着社会的发展,汉字处理系统想要兼容英文(当时主流就是ASCII),当系统中同时存在ASCII和汉字国标码时,将会产生二义性。例如:有两个字节的内容为30H和21H,它既可表示汉字“啊”的国标码,又可表示ASCII中的“0”和“!”,为此,汉字机内码诞生了。由于ASCII编码范围为00H~7FH,字节最高位皆为‘0’,机内码应对国标码加以适当变换处理,将相应国标码每个字节的最高位置为“1”,即:汉字机内码=汉字国标码 8080H。例如:“啊”字的国标码是3021H,则其汉字机内码为B0A1H=3021H 8080H。
图6. 机内码
说明:图6为按照Windows CP936(内码)编码生成的16Pixel中文点阵字库,只包含了一级码汉字(3755个字符),‘啊’的编码为:B0A1H。
上述所述,不论是区位码,国标码,还是机内码,主要都是针对GB2312-80标准(7K 字符),若按区位码94x94矩阵计算,最大也只能表达94x94=8836个字符,这时有人可能会问,若要支持更多的中文怎么办呢?
这自然难不倒勤劳又机智的“中国人”。看懂下面这张图,就都明白了。
说明:这里主要记录汉字编码,并且第一字节最高位皆为‘1’,也能很好的做到向前兼容。
- GB2312-80,字符数 6763 = ①
- GBK,字符数 21003 = ① ② ③
- GB18030-2000,字符数 27533 = ① ② ③ ④
- GB18030-2005,字符数 70244 = ① ② ③ ④ ⑤
想要了解更多,推荐看看这篇文章:“国家标准代码 - 百度百科”。
四、Unicode
Unicode 是为了解决传统字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求,中文只是其中的一部分。由于Unicode编码(针对中文)不连续,只能靠查表方式解决编码转换问题。
图7. Unicode
说明:‘啊’的Unicode码值为 554AH。
五、总结
- 图解
- 编码转换
区位码、国标码、机内码之间递进式转换,都在这张表里了。
随着社会发展不断更新迭代,区位码、国标码在应用场景上已慢慢淡出了用户视野,现在最常用的则是内码,Unicode。
说了这么多,想想,若没有这些先辈们的坚持与努力,可能我们今天还在用ASCII计算机呢!
感恩所有为中文编码默默奉献的人!
参考文献:
- 汉字区位码对照表.pdf
- 百度百科
- 知乎