Question

python怎么知道一个字符串的编码方式

Answer 1

字符串的编码，有很多种如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64

python 对编码的处理有两个方法，decode()和 encode()方法

a = '你好'
b = 'python'
print a.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象，然后通过encode方法转换为指定的编码字符串对象
print b.decode('utf-8')##decode方法把字符串转换为unicode对象

所以要让python（或者说机器）来识别字符串的编码，是一件很困难的事。编码就是汉字和整数之间的对应，同一个整数，可以在不同的编码中，都有对应的汉字。比如下面的例子，比特流'\xe6\xb0\xb4\xe5\xa3\xb6'在四种编码中都有对应的汉字，但只有在utf-8编码下，它对应的汉字才有意义。我们可以一眼看出这点，可是要让计算机做到这点，就很难了。

>>> s = '水壶'
>>> s
18: '\xe6\xb0\xb4\xe5\xa3\xb6'
>>> print unicode(s, 'big5')
瘗游ㄥ
>>> print unicode(s, 'gbk')
姘村6
>>> print unicode(s, 'gb2312')
姘村6
>>> print unicode(s, 'utf-8')
水壶

Answer 2

安装chardet模块
chardet文件夹放在/usr/lib/python2.4/site-packages目录下

[root@sha-sso-data01 chardet]# python
Python 2.4.3 (#1, Sep 21 2011, 19:55:41)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-51)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import chardet
>>> chardet.detect("我")
{'confidence': 0.505, 'encoding': 'utf-8'}
>>>