Python信息抽取之乱码解决办法

Python信息抽取之乱码解决办法

就事论事，直说自己遇到的情况，和我不一样的路过吧，一样的就看看吧

　　信息抓取，用python,beautifulSoup,lxml,re,urllib2,urllib2去获取想要抽取的页面内容，然后使用lxml或者beautifulSoup进行解析，插入mysql 具体的内容，好了貌似很简单很easy的样子，可是里面的恶心之处就来了，第一，国内开发网站的人在指定网站编码或者是保存网站源码的时候并没有考虑什么编码，反正一句话，一个网站即使你用工具查看或者查看源码头信息查看到他们的源码是utf-8,或者GBK之类的，也别信，哎，什么东西信了就遭殃了，即<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

　　以下给出一些流程：（具体各个库不是我这里向说的哦）

　import urllib2

　　 import chardet

　　html = urllib2.urlopen("某网站")

　 print chardet.detect(html) #这里会输出一个字典{'a':0.99999,'encoding':'utf-8'}

　　好，这整个html的编码都知道，该插入以utf-8建立的mysql数据库了吧，但是我就在插入的时候发生错误了，因为我使用lxml以后的字符串不是utf-8，而是Big5（繁体字编码）,还有各种未知编码EUC-JP(日本语编码)，OK，我采取了unicode方法，先对这个字段进行解码，在进行编码

if chardet.detect(name)['encoding'] == 'GB2312':
　　name = unicode(name,'GB2312','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'Big5':
 name = unicode(name,'Big5','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'ascii':
 name = unicode(name,'ascii','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'GBK':
 name = unicode(name,'GBK','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'EUC-JP':
 name = unicode(name,'EUC-JP','ignore').encode('utf-8','ignore')
else:
  name = '未知'

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

# Python信息抽取之乱码  # python  # 乱码解决办法  # 彻底搞懂 python 中文乱码问题(深入分析)  # python中文乱码不着急  # 先看懂字节和字符  # python dict乱码如何解决  # 日本语  # 的人  # 他们的  # 来了  # 好了  # 就在  # 和我  # 之处  # 就事论事  # 希望能  # 很简单  # 或者是  # 什么东西  # 就看  # 句话  # 谢谢大家  # 你用  # 解决办法  # 看吧  # 也别 

相关文章： 建站主机空间推荐 高性价比配置与快速部署方案解析  网页设计网站制作软件,microsoft office哪个可以创建网页？  青岛网站建设如何选择本地服务器？  Android自定义listview布局实现上拉加载下拉刷新功能  如何确认建站备案号应放置的具体位置？  如何选择建站程序？包含哪些必备功能与类型？  建站DNS解析失败？如何正确配置域名服务器？  焦点电影公司作品,电影焦点结局是什么？  制作网站的网址是什么,请问后缀为.com和.com.cn还有.cn的这三种网站是分别是什么类型的网站？  如何通过老薛主机一键快速建站？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  如何挑选高效建站主机与优质域名？  网站制作话术技巧,网站推广做的好怎么话术？  实惠建站价格推荐：2025年高性价比自助建站套餐解析  怀化网站制作公司,怀化新生儿上户网上办理流程？  如何快速生成专业多端适配建站电话？  网站制作模板下载什么软件,ppt模板免费下载网站？  如何用wdcp快速搭建高效网站？  深圳网站制作的公司有哪些,dido官方网站？  如何在服务器上配置二级域名建站？  广德云建站网站建设方案与建站流程优化指南  网站设计制作书签怎么做,怎样将网页添加到书签/主页书签/桌面？  建站之星代理平台如何选择最佳方案？  内网网站制作软件,内网的网站如何发布到外网？  宝塔建站助手安装配置与建站模板使用全流程解析  深圳 网站制作,深圳招聘网站哪个比较好一点啊？  建站之家VIP精选网站模板与SEO优化教程整合指南  如何配置WinSCP新建站点的密钥验证步骤？  建站主机选择指南：服务器配置与SEO优化实战技巧  如何确保西部建站助手FTP传输的安全性？  广州顶尖建站服务：企业官网建设与SEO优化一体化方案  如何选择香港主机高效搭建外贸独立站？  音乐网站服务器如何优化API响应速度？  *服务器网站为何频现安全漏洞？  网站视频怎么制作,哪个网站可以免费收看好莱坞经典大片？  北京网站制作费用多少,建立一个公司网站的费用.有哪些部分,分别要多少钱？  建站之星官网登录失败？如何快速解决？  微信h5制作网站有哪些,免费微信H5页面制作工具？  如何在新浪SAE免费搭建个人博客？  制作网站的基本流程,设计网站的软件是什么？  ,柠檬视频怎样兑换vip？  如何快速搭建支持数据库操作的智能建站平台？  装修招标网站设计制作流程,装修招标流程？  如何选择网络建站服务器？高效建站必看指南  建站主机与服务器功能差异如何区分？  网页设计与网站制作内容,怎样注册网站？  官网自助建站系统：SEO优化+多语言支持，快速搭建专业网站  微信网站制作公司有哪些,民生银行办理公司开户怎么在微信网页上查询进度？  如何在宝塔面板中修改默认建站目录？  广州美橙建站如何快速搭建多端合一网站？