lol奶妈技能介绍:一个关于在文本文档中输入“联通 ”的奇怪现象~~

记事本的编码问题，当文档中所有字符都在 C0≤AA≤DF 80≤BB≤BF 这个范围的时候，notepad都无法确认文档的格式，没有自动按照UTF-8格式来"Display"。 "联通"就是C1 AA CD A8，刚好在上面的范围内，所以不能正常显示。

下面为引用：

在计算机中字符通常并不是保存为图像，每个字符都是使用一个编码来表示的，而每个字符究竟使用哪个编码代表，要取决于使用哪个字符集(charset)。

在最初的时候，Internet上只有一种字符集——ANSI的ASCII字符集，它使用7 bits来表示一个字符，总共表示128个字符，其中包括了英文字母、数字、标点符号等常用字符。之后，又进行扩展，使用8 bits表示一个字符，可以表示256个字符，主要在原来的7 bits字符集的基础上加入了一些特殊符号例如制表符。

后来，由于各国语言的加入，ASCII已经不能满足信息交流的需要，因此，为了能够表示其它国家的文字，各国在ASCII的基础上制定了自己的字符集，这些从ANSI标准派生的字符集被习惯的统称为ANSI字符集，它们正式的名称应该是MBCS(Multi-Byte Chactacter System，即多字节字符系统)。这些派生字符集的特点是以ASCII 127 bits为基础，兼容ASCII 127，他们使用大于128的编码作为一个Leading Byte，紧跟在Leading Byte后的第二（甚至第三）个字符与Leading Byte一起作为实际的编码。这样的字符集有很多，我们常见的GB-2312就是其中之一。

例如在GB-2312字符集中，“连通”的编码为C1 AC CD A8，其中C1和CD就是Leading Byte。前127个编码为标准ASCII保留，例如“0”的编码是30H（30H表示十六进制的30）。软件在读取时，如果看到30H，知道它小于128就是标准ASCII，表示“0”，看到C1大于128就知道它后面有一个另外的编码，因此C1 AC一同构成一个整个的编码，在GB-2312字符集中表示“连”。

由于每种语言都制定了自己的字符集，导致最后存在的各种字符集实在太多，在国际交流中要经常转换字符集非常不便。因此，提出了Unicode字符集，它固定使用16 bits（两个字节、一个字）来表示一个字符，共可以表示65536个字符。将世界上几乎所有语言的常用字符收录其中，方便了信息交流。标准的Unicode称为UTF-16。后来为了双字节的Unicode能够在现存的处理单字节的系统上正确传输，出现了UTF-8，使用类似MBCS的方式对Unicode进行编码。注意UTF-8是编码，它属于Unicode字符集。Unicode字符集有多种编码形式，而ASCII只有一种，大多数MBCS（包括GB-2312）也只有一种。

例如“连通”两个字的Unicode标准编码UTF-16 (big endian）为：DE 8F 1A 90

而其UTF-8编码为：E8 BF 9E E9 80 9A

最后，当一个软件打开一个文本时，它要做的第一件事是决定这个文本究竟是使用哪种字符集的哪种编码保存的。软件有三种途径来决定文本的字符集和编码：

最标准的途径是检测文本最开头的几个字节，如下表：

开头字节
Charset/encoding

EF BB BF
UTF-8

FE FF
UTF-16/UCS-2, little endian

FF FE
UTF-16/UCS-2, big endian

FF FE 00 00
UTF-32/UCS-4, little endian.

00 00 FE FF
UTF-32/UCS-4, big-endian.

例如插入标记后，连通”两个字的UTF-16 (big endian）和UTF-8码分别为：
FF FE DE 8F 1A 90
EF BB BF E8 BF 9E E9 80 9A

但是MBCS文本没有这些位于开头的字符集标记，更不幸的是，一些早期的和一些设计不良的软件在保存Unicode文本时不插入这些位于开头的字符集标记。因此，软件不能依赖于这种途径。这时，软件可以采取一种比较安全的方式来决定字符集及其编码，那就是弹出一个对话框来请示用户，例如将那个“连通”文件拖到MS Word中，Word就会弹出一个对话框。

如果软件不想麻烦用户，或者它不方便向用户请示，那它只能采取自己“猜”的方法，软件可以根据整个文本的特征来猜测它可能属于哪个charset，这就很可能不准了。使用记事本打开那个“连通”文件就属于这种情况。

我们可以证明这一点：在记事本中键入“连通”后，选择“Save As”，会看到最后一个下拉框中显示有“ANSI”，这时保存。当再当打开“连通”文件出现乱码后，再点击“File”->“Save As”，会看到最后一个下拉框中显示有“UTF-8”，这说明记事本认为当前打开的这个文本是一个UTF-8编码的文本。而我们刚才保存时是用ANSI字符集保存的。这说明，记事本猜测了“连通”文件的字符集，认为它更像一个UTF-8编码文本。这是因为“连通”两个字的GB-2312编码看起来更像UTF-8编码导致的，这是一个巧合，不是所有文字都这样。可以使用记事本的打开功能，在打开“连通”文件时在最后一个下拉框中选择ANSI，就能正常显示了。反过来，如果之前保存时保存为UTF-8编码，则直接打开也不会出现问题。

如果将“连通”文件放入MS Word中，Word也会认为它是一个UTF-8编码的文件，但它不能确定，因此会弹出一个对话框询问用户，这时选择“简体中文（GB2312）”，就能正常打开了。记事本在这一点上做得比较简化罢了，这与这个程序的定位是一致的。

其实解决的该问题的方法也很简单，在保存文件时候选择Unicode编码就OK了

神经，闹鬼你也说的出。
这是WINDOW XP SP2的一个BUG，微软好象已经出了补丁了，更新后就不会“联通”变一个方格了！

微软记事本“闹鬼” 常用汉字输入变黑点

--------------------------------------------------------------------------------

http://www.sina.com.cn 2003年12月11日 13:28 太平洋电脑网

近日有网友给我们报料，称微软windows操作系统自带的“记事本”工具出现了奇怪的现象。当用户在“记事本”里面单独输入“联通”(不含引号)，然后保存文件，再用“记事本”重新打开该文件时，原来输入的“联通”中文字已经变成了一堆黑色的实心方块“--”！

笔者亲自尝试了一下，结果发现不但用“记事本”编辑“联通”会出现如此现象，
用微软的word和“写字板”工具编辑，保存成txt文件，再用“记事本”打开，结果还是一样，“联通”都是变成了“--”。但是用word或者“写字板”工具打开这些txt文件，却没有出现这种怪现象。看来这种错误只是出现在“记事本”身上，莫非微软的“记事本”闹鬼了吗？！

经过尝试，笔者在“记事本”里面只输入“联通”字样，再用不同的编码保存成txt文件，结果发现只有当编码选择“ANSI”时，这种怪现象才是出现，选择“Unicode”、“Unicode big endian”或者“UTF-8”编码保存时都完全正常，看来是“记事本”ANSI编码存在bug。

因为用“ANSI”编码保存在“记事本”里面是默认选项，一般用户在通常情况下都不会更改这个选项，用“ANSI”直接保存，这就使得用户的资料极有可能在不经意时遭到破坏，后果可能很严重。

另外，目前笔者只发现输入“联通”字样“记事本”才会出现错误，输入其他字符并没有出现这种怪现象。因此也有不少网友把“微软”和“联通”两家公司联想到一起，猜测两者之间有某种联系。

对于微软“记事本”的奇怪现象，我们正在尝试联系微软公司的有关人员，以求证造成这种起奇怪现象的根本原因。