全网整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:400-708-3566

python实现unicode转中文及转换默认编码的方法

本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:

一、在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:

1、

>>> s = u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> print s
人生苦短,py是岸

2、

>>> s = r'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> s = s.decode('unicode_escape')
>>> print s
人生苦短,py是岸

二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)”的编码错误。

而用以下方法通常可以解决:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

此方法是将Python2的默认编码ASCII改为 utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。

关于sys.setdefaultencoding('utf-8')的补充:

sys.setdefaultencoding('utf-8') 会导致的两个大问题

简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的 bug 存在着。下面我们举两个例子。

1. 编码错误

import chardet
def print_string(string):
  try:
    print(u"%s" % string)
  except UnicodeError:
    print u"%s" % unicode(byte_string, encoding=chardet.detect(string)['encoding'])
print_string(u"þ".encode("latin-1"))
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('þ'))

输出:

$~ þ
$~ þ

在上面的代码中,默认的 ascii 编码无法解码,þ latin-1 编码 hex 表示是 c3 be ,显然是超出了只有128个字符的 ascii 码集的,引发 UnicodeError 异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出 þ 。

而一旦我们将 defaultencoding 设置为 utf-8,因为 utf-8 的字符范围是完全覆盖 latin-1,因此,会直接使用 utf-8 进行解码。c3 be 在 utf-8 中,是 þ。于是我们打印出了完全不同的字符。

可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么 bug 了。如果你不依赖第三方库,那么下面这个 bug,还是逃不过。

2. dictionray 行为异常

假设我们要从一个 dictionary 里查找一个 key 是否存在,通常来说,有两种可行方法。

#-*- coding: utf-8 -*-
d = {1:2, '1':'2', '你好': 'hello'}
def key_in_dict(key)
  if key in d:
    return True
  return False
def key_found_in_dict(key):
  for _key in d:
    if _key == key:
      return True
  return False

我们对比下改变系统默认编码前后这俩函数的输出有什么不同。

#-*- coding: utf-8 -*-
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))
print('------utf-8------')
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))

输出:

$~ True
$~ True
$~ False
$~ False
$~ ------utf-8------
$~ True
$~ True
$~ False
$~ True

可以看到,当默认编码改了之后,两个函数的输出不再一致。

dict 的 in 操作符将键做哈希,并比较哈希值判断是否相等。对于 ascii 集合内的字符来说,不管是字节字符类型还是还是 unicode 类型,其哈希值是一样的,如 u'1' in {'1':1} 会返回 True,而超出 ascii 码集的字符,如上例中的 '你好',它的字节字符类型的哈希与 unicode 类型的哈希是不一样的。

而 == 操作符则是做了一次转换,将字节字符(byte string,上面的 '你好')转换成 unicode(u'你好') 类型,然后对转换后的结果做比较。在 ascii 系统默认编码中,'你好'转换成 Unicode 会产生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为 utf-8 后,这个禁忌则被解除,'你好' 能够顺利被转换成 unicode,最后的结果就是,in 和 == 行为不再一致。

问题的根源:Python2 中的 string

Python 为了让其语法看上去简洁好用,做了很多 tricky 的事情,混淆 byte string 和 text string 就是其中一例。

在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。

其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而 Python 认为字节就是字符,所以他们俩的操作集合是一致的。

然后进一步的,Python 会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的 ==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python 需要一个默认编码。在 Python2 诞生的年代,ASCII 是最流行的(可以这么说吧),于是 Python2 选择了 ASCII。然而,众所周知,在需要需要转换的场景,ASCII 都是没用的(128个字符,够什么吃)。

在历经这么多年吐槽后,Python 3 终于学乖了。默认编码是 Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。

最佳实践

说了这么多,如果不迁移到 Python 3,能怎么做呢?

有这么几个建议:

所有 text string 都应该是 unicode 类型,而不是 str,如果你在操作 text,而类型却是 str,那就是在制造 bug。

在需要转换的时候,显式转换。从字节解码成文本,用 var.decode(encoding),从文本编码成字节,用 var.encode(encoding)。

从外部读取数据时,默认它是字节,然后 decode 成需要的文本;同样的,当需要向外部发送文本时,encode 成字节再发送。

PS:这里再为大家提供几款Unicode编码转换操作相关工具供大家参考使用:

在线Unicode/中文转换工具:
http://tools./transcoding/unicode_chinese

Native/Unicode在线编码转换工具:
http://tools./transcoding/native2unicode

在线中文汉字/ASCII码/Unicode编码互相转换工具:
http://tools./transcoding/chinese2unicode

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python编码操作技巧总结》、《Python图片操作技巧总结》、《Python数据结构与算法教程》、《Python Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。


# python  # unicode  # 转换  # 中文  # 默认编码  # Python如何设置utf-8为默认编码的问题  # python 应用之Pycharm 新建模板默认添加编码格式-作者-时间等信息【推荐】  # python3 中文乱码与默认编码格式设定方法  # Python设置默认编码为utf8的方法  # Python获取系统默认字符编码的方法  # python中的默认编码使用  # 你好  # 第三方  # 操作技巧  # 转换成  # 转换工具  # 写了  # 都是  # 进阶  # 这是  # 情况下  # 苦短  # 几个  # 是在  # 相关内容  # 出了  # 站在  # 却是  # 那就  # 将会  # 说了 


相关文章: 制作宣传网站的软件,小红书可以宣传网站吗?  免费网站制作appp,免费制作app哪个平台好?  如何快速搭建高效WAP手机网站?  网站制作壁纸教程视频,电脑壁纸网站?  建站主机与虚拟主机有何区别?如何选择最优方案?  台州网站建设制作公司,浙江手机无犯罪记录证明怎么开?  网站建设制作需要多少钱费用,自己做一个网站要多少钱,模板一般多少钱?  广州网站建站公司选择指南:建站流程与SEO优化关键词解析  如何有效防御Web建站篡改攻击?  如何高效生成建站之星成品网站源码?  建站之星导航配置指南:自助建站与SEO优化全解析  如何通过二级域名建站提升品牌影响力?  如何零基础在云服务器搭建WordPress站点?  微信推文制作网站有哪些,怎么做微信推文,急?  公司网站的制作公司,企业网站制作基本流程有哪些?  桂林网站制作公司有哪些,桂林马拉松怎么报名?  东莞市网站制作公司有哪些,东莞找工作用什么网站好?  如何将凡科建站内容保存为本地文件?  PHP正则匹配日期和时间(时间戳转换)的实例代码  怎么用手机制作网站链接,dw怎么把手机适应页面变成网页?  网站广告牌制作方法,街上的广告牌,横幅,用PS还是其他软件做的?  网站规划与制作是什么,电子商务网站系统规划的内容及步骤是什么?  如何通过FTP服务器快速搭建网站?  如何彻底卸载建站之星软件?  如何在景安云服务器上绑定域名并配置虚拟主机?  武清网站制作公司,天津武清个人营业执照注销查询系统网站?  ,怎么用自己头像做动态表情包?  如何选择PHP开源工具快速搭建网站?  如何设置并定期更换建站之星安全管理员密码?  香港服务器网站搭建教程-电商部署、配置优化与安全稳定指南  公众号网站制作网页,微信公众号怎么制作?  建站之星安装提示数据库无法连接如何解决?  宝塔面板如何快速创建新站点?  正规网站制作公司有哪些,目前国内哪家网页网站制作设计公司比较专业靠谱?口碑好?  山东云建站价格为何差异显著?  建站与域名管理如何高效结合?  高端智能建站公司优选:品牌定制与SEO优化一站式服务  可靠的网站设计制作软件,做网站设计需要什么样的电脑配置?  广平建站公司哪家专业可靠?如何选择?  如何在阿里云通过域名搭建网站?  如何通过多用户协作模板快速搭建高效企业网站?  Android滚轮选择时间控件使用详解  网站制作新手教程,新手建设一个网站需要注意些什么?  建站之星如何防范黑客攻击与数据泄露?  如何在Windows虚拟主机上快速搭建网站?  用v-html解决Vue.js渲染中html标签不被解析的问题  学校为何禁止电信移动建设网站?  MySQL查询结果复制到新表的方法(更新、插入)  如何通过cPanel快速搭建网站?  专业网站制作企业网站,如何制作一个企业网站,建设网站的基本步骤有哪些? 

您的项目需求

*请认真填写需求信息,我们会在24小时内与您取得联系。