一、字符集编码与解码 计算机中储存的信息都是用二进制数表示的而我们在屏幕上看到的数字、英文、标点符号、汉字等字符是二进制数转换之后的结果按照某种规则,将字符转为二进制数,称为编码反之,将二进制数转为认识的字符,称为解码字符编码(Character Encoding) 就是一套自然语言的字符与二进制数之间的对应规则字符集 也叫编码表。是一个系统支持的所有字符的集合,包括各国家文字、标点符号、图形符号、数字等二、ASCII码(字符编码)上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码ASCII码用于显示现代英语,主要包括控制字符(回车键、退格、换行键等)和可显示字符(英文大小写字符、阿拉伯数字和西文符号)基本的ASCII字符集,使用7位(bits)表示一个字符(最前面的1位统一规定为0),共128个字符。比如:空格“SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)缺点:不能表示所有字符三、ISO-8859-1(字符集)拉丁码表,别名Latin-1,用于显示欧洲使用的语言,包括荷兰语、德语、意大利语、葡萄牙语等ISO-8859-1使用单字节编码,兼容ASCII编码四、GBxxx(字符集)GB就是国标的意思,是为了显示中文而设计的一套字符集GB2312:简体中文码表 一个小于127的字符的意义与原来相同,即向下兼容ASCII码两个大于127的字符连在一起时,就表示一个汉字,这样大约可以组合了包含7000多个简体汉字此外数学符号、罗马希腊的字母、日文的假名们都编进去了这就是常说的"全角"字符,而原来在127号以下的那些符号就叫"半角"字符了GBK:最常用的中文码表 GBK是一种字符编码,也是一种字符集在GB2312标准基础上的扩展规范,使用了双字节编码方案,共收录了21003个汉字完全兼容GB2312标准,同时支持繁体汉字以及日韩汉字等GB18030:最新的中文码表 收录汉字70244个,采用多字节编码,每个字可以由1个、2个或4个字节组成支持中国国内少数民族的文字,同时支持繁体汉字以及日韩汉字等五、Unicode码(字符集)Unicode编码为表达任意语言的任意字符而设计,也称为统一码、标准万国码常用字符用2个字节表示,一共可以表示65536个字符,附加扩展字符编码采用4个字节来表示,这样最多可以定义1048576个字符为每个字符设定唯一的二进制编码,但没有规定二进制编码如何存储用十六进制4位表示一个编码,如下码表 A的十六进制0041转为十进制是65,与ASCII码值一致所以Unicode码值兼容ASCII码值Unicode 的缺点:这里有三个问题: 第一,英文字母只用一个字节表示就够了,如果用更多的字节存储是极大的浪费第二,如何才能区别Unicode和ASCII?计算机怎么知道两个字节表示一个符号,而不是分别表示两个符号呢?第三,如果和GBK等双字节编码方式一样,用最高位是1或0表示两个字节和一个字节,就少了很多值无法用于表示字符,不够表示所有字符Unicode在很长一段时间内无法推广,直到互联网的出现 为解决Unicode如何在网络上传输的问题,于是面向传输的众多 UTF(UCS Transfer Format)标准出现具体来说,有三种编码方案,UTF-8、UTF-16和UTF-32六、UTF-8(字符编码)Unicode是字符集,UTF-8、UTF-16、UTF-32是三种将数字转换到程序数据的编码方案互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码UTF-8 是一种变长的编码方式可以使用 1-4 个字节表示一个符号它使用一至四个字节为每个字符编码,编码规则: 128个US-ASCII字符,只需一个字节编码(兼容ASCII码值)拉丁文等字符,需要二个字节编码大部分常用字(含中文),使用三个字节编码其他极少使用的Unicode辅助字符,使用四字节编码 UTF-8编码规则

对于单个字节的字符,第一位设为 0,后面的 7 位对应这个字符的 Unicode 码点对于需要使用 N 个字节来表示的字符(N > 1) 第一个字节的前 N 位都设为 1,第 N + 1 位设为0剩余的 N - 1 个字节的前两位都设位 10剩下的二进制位则使用这个字符的 Unicode 码点来填充Unicode编码(十六进制)

UTF-8 字节流(二进制)

000000-00007F

0xxxxxxx

000080-0007FF

110xxxxx 10xxxxxx

000800-00FFFF

1110xxxx 10xxxxxx 10xxxxxx

010000-10FFFF

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

例如:

“汉”字的Unicode编码是0x6C490x6C49在0x0800-0xFFFF之间,使用3字节模板:1110xxxx 10xxxxxx 10xxxxxx将0x6C49写成16位二进制数字(模板x的数量,不足16位在前面补0):0110 1100 0100 1001将二进制数字填充进模板得到:11100110 10110001 10001001 转为16进制即E6 B1 89。这个就是被存到计算机中的字节序列16进制转为byte数组[-26,-79,-119](数值是补码形式存在);byte[] bytes = "汉".getBytes()的由来 UTF-8解码规则

UTF-8 解码规则也很简单。如果一个字节的第一位是0,则这个字节单独就表示一个字符如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节总结不同字符编码在内存中的字符对应磁盘中的byte数组数值代码语言:javascript代码运行次数:0运行复制@Test

public void test() throws UnsupportedEncodingException {

byte[] bytes1 = "A".getBytes();

System.out.println(Arrays.toString(bytes1)); // [65]

byte[] bytes2 = "中".getBytes("GBK");

System.out.println(Arrays.toString(bytes2)); // [-42, -48]

byte[] bytes3 = "中".getBytes("UTF-8");

System.out.println(Arrays.toString(bytes3)); // [-28, -72, -83]

} 注意: 在中文操作系统上,ANSI编码即为GBK;在英文操作系统上,ANSI编码即为ISO-8859-1

Copyright © 2088 光影峡谷 - 高尔夫模拟游戏活动中心 All Rights Reserved.
友情链接