乱码修复是逆向推理:GBK 反查表、CP1252 的弯引号陷阱与锟斤拷的诞生
乱码是怎么诞生的
一切文本乱码都源于同一条链:字节流用编码 A 解码成字符,却被当成编码 B 存了下来。典型剧本:一份 GBK 编码的中文文档被编辑器按 Latin-1 打开——GBK 的双字节汉字被拆成两个「西欧字符」,存成 UTF-8 后每个假字符又膨胀成多字节,「你好」变成「浣犲ソ」。关键洞察是:只要解码时没发生「字节被丢弃」,信息就还在——「浣犲ソ」这四个字精确地记录着原始的四个字节,逆着走一遍就能还原。乱码修复因此是一道逆向推理题:识别出走错了哪条链路,再倒回去。
三条可逆链路与一条死路
Latin1 误读:Latin-1 把每个字节无损映射成一个码位(0–255),一个字节不丢。逆向最简单:把每个字符的码位当字节抄回来,得到原始字节流,再按正确编码解码即可。
UTF-8 双重编码:Mojibake 最常见的国际形态。UTF-8 的「é」是两字节 C3 A9,被误当 Latin-1 再编码成 UTF-8 变成「é」——本质是「把字节当字符又编码了一遍」,逆向就是解一遍:取字符的 UTF-8 字节、按码位还原成「伪字符」,再整体按 UTF-8 解码。中文场景的「鏂囨湰」同理。
GBK 误读:最难也最常见。GBK 双字节汉字被按 UTF-8 解码出随机汉字——想还原需要从「乱码字符」反查「原始 GBK 字节」。问题是 TextDecoder 只提供「字节→字符」的正向表,反查表没现成的。工程解法简单粗暴:运行时暴力建表——遍历 GBK 全部双字节组合(首字节 0x81–0xFE × 尾字节),逐个喂给 TextDecoder(‘gbk’) 解出字符,登记进「字符→字节」反查表。约 2.4 万次映射,惰性构建(首次用到才建,约几十毫秒,构建一次全程复用),零依赖、不用打包一张几万条的静态表。
死路:含 �(U+FFFD)的文本。U+FFFD 是解码器对「无法映射的字节」的替换符——替换的同时原始字节已被丢弃。字节没了,信息就没了,任何算法都无力回天。判死刑的边界必须诚实告知:「锟斤拷锟斤拷」里若真含 �,只能回到源数据重新导出。
锟斤拷:一个文化符号的诞生
中文互联网最有名的乱码「锟斤拷」正是 U+FFFD 的二次曝光:某段 GBK 文本先被错误转码产生了替换符 �(U+FFFD,UTF-8 编码为三字节 EF BF BD);连续多个替换符的字节 EF BF BD EF BF BD… 又被谁按 GBK 解码了一遍——EF BF 对应「锟」,`BD EF」「斤」,「BF BD」→「拷」……替换符的尸体被再一次误读,就得到了无限循环的「锟斤拷」。它是双重事故的化石:第一次丢信息,第二次把丢失标记本身也译错了。这类「修复候选按可读性排序」的逻辑(中文占比、控制字符比例等启发式打分)因此必不可少——逆向推理常常给出多条可行链路,机器负责枚举,人眼负责终审。
🔧 文本乱码修复器 把四条链路做成自动探测加候选排序:粘贴乱码的「最终形态」,Latin1/CP1252/GBK/UTF-8 双重编码逐条试解,按可读性排好候选。CP1252 值得单独点名:它在 Latin-1 保留给控制字符的 0x80–0x9F 区塞进了 € ’ " — 等排版符号——Windows 文本常因此走出第三种乱码形态,这条链路同样被覆盖。防患于未然这边,🔧 文件编码转换器 批量探测旧文件编码统一转 UTF-8;CSV 场景的 Excel 乱码(缺 BOM)与 GBK 的孽缘,在vCard 那篇里提过。ID3 标签里「GBK 字节标成 ISO-8859-1」的经典 MP3 乱码歌名,是同一原理的另一个现场(ID3 解剖)。这套编码工具都收在文件处理流水线专题里,全部本地处理,文本不出浏览器。