Question

Python2.7 中文字符编码，使用Unicode时，选择什么编码格式

Answer 1

我觉得关键是区分“字节”和“字符”的概念，还要知道一点点字体的常识。
“字符”可以看成是一个抽象概念，如当楼主说“汉字”，其实他意思是表达的是表示这么一个概念的两个字符。
当字符在计算机中表示的时候，需要编码成二进制（字节），于是就出现了不同的编码方式，如 GBK, UTF-8 等。如 Kenneth 展示的，“汉字”这两个字符在 GBK 中编码为 0xBABAD7D6，而在 UTF-8 中编码为 0xE6B189E5AD97。
最终显示时，则还要根据所使用的字体，把抽象的字符转化成具象的图像。
所以，楼主的第一个问题在于虽然你看到的是“汉字”的图像，但其在该脚本的源文件中的字节编码可能是任何一种——在 Windows 下是 GBK 或 GB18030 等。于是 python 看到的是一串 GBK / GB18030 编码的字节，而你试图告诉 python 这是 UTF-8 编码的，那自然报错了。
第二个问题，对 SQL Server 不熟，不过看起来原因是当你把从数据库读出的数据（字节形式，可能是 GBK 等非 Unicode 编码）放入 unit 这个变量的时候，程序错把非 Unicode 编码的字节当成 Unicode 编码解释了。那么排查思路应该是搞清楚数据在读出时是什么编码（这可能跟数据存入时的编码相关，也可能跟数据库配置有关），以及存入 unit 时程序做了哪些转换。