Python处理中文编码和判断编码

本网站用的阿里云ECS,推荐大家用。自己搞个学习研究也不错
在开发自用爬虫过程中,有的网页是utf-8,有的是gb2312,有的是gbk,如果不加处理,采集到的都是乱码,解决的方法是将html处理成统一的utf-8编码

针对python2.7。

代码如下:

#coding:utf-8
#chardet 需要下载安装
import chardet
#抓取网页html
line = “http://www.linuxidc.com”
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
encoding_dict = chardet.detect(html_1)
#print encoding
web_encoding = encoding_dict[‘encoding’]
if web_encoding == ‘utf-8’ or web_encoding == ‘UTF-8’:

html = html_1
else :
html = html_1.decode(‘gbk’,’ignore’).encode(‘utf-8’)
#有以上处理,整个html就不会是乱码。

Python解析xml文档实例  http://www.linuxidc.com/Linux/2012-02/54760.htm

《Python核心编程 第二版》.(Wesley J. Chun ).[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm

《Python开发技术详解》.( 周伟,宗杰).[高清PDF扫描版+随书视频+代码] http://www.linuxidc.com/Linux/2013-11/92693.htm

Python脚本获取Linux系统信息 http://www.linuxidc.com/Linux/2013-08/88531.htm

Ubuntu下用Python搭建桌面算法交易研究环境 http://www.linuxidc.com/Linux/2013-11/92534.htm

Python 语言的发展简史 http://www.linuxidc.com/Linux/2014-09/107206.htm

Python 的详细介绍请点这里
Python 的下载地址请点这

未经允许不得转载:演道网 » Python处理中文编码和判断编码

赞 (0)
分享到:更多 ()

评论 0

评论前必须登录!

登陆 注册