这是一个创建于 3805 天前的主题，其中的信息可能已经有所发展或是发生改变。
我想把一些中文文本(大体是gb2312/gbk/gb18030)转换到UTF8编码
这些文本中可能混入了一些错误的字节
我试过一种"贪婪的"解码方式: 在碰到(无法作为gb2312/gbk/gb18030解码的字节序列)时抛弃第一个未解码字节, 并重试解码.
这样确实能完成整个文件的解码.
但是有时会得到一串汉字乱码, 推测是碰到"无意义的汉字序列 但是是合法的汉字编码"
我怎样可以更智能地忽略错误字节, 并尽量解码成有意义的中文文本?
# 感觉这是个轮子级问题. 如果有现成的技术或实现就最好
这些文本中可能混入了一些错误的字节
我试过一种"贪婪的"解码方式: 在碰到(无法作为gb2312/gbk/gb18030解码的字节序列)时抛弃第一个未解码字节, 并重试解码.
这样确实能完成整个文件的解码.
但是有时会得到一串汉字乱码, 推测是碰到"无意义的汉字序列 但是是合法的汉字编码"
我怎样可以更智能地忽略错误字节, 并尽量解码成有意义的中文文本?
# 感觉这是个轮子级问题. 如果有现成的技术或实现就最好
 |
1
kfll 2014-06-25 14:43:19 +08:00
iconv -c 么
-c When this option is given, characters that cannot be converted are silently discarded, instead of leading to a conversion error. |
Select Language