又一次被编码问题整晕了，求解救

[grimpil]

xshell 登录 linux 执行执行下面命令：
python3 test.py '你好'
这一句目前是直接手动执行的，以后计划 php 内通过 exec()来执行

tesp.py 里面：
str = sys.argv[1]
print(str) //打印出来是“你好”

if str == "你好":
print('ok') //这一句没有输出，说明二者并不相同

下面这两句
print('你好'.encode('utf-8'))
print(str.encode('utf-8'))

第一句正常输出： // b'\xe4\xbd\xa0\xe5\xa5\xbd'
第二句报错： UnicodeEncodeError: 'utf-8' codec can't encode character '\udce4'

我想知道传递过来的参数，究竟发生了什么变化，明明都是“你好”，怎么会不一样
因为后面有一步关键操作需要 str.encode('utf-8') ，怎么样才能让它不报错？

[xiaobai987]

第二句不是已经提示是 utf-8 了吗

[LokiSharp]

sys.argv 传入的是 Unicode ，不需要 encode 吧？

[zhanglintc]

会不会 str 已经是 unicode 了 所以不用 encode 了

[zhanglintc]

写错了 str 已经不是 unicode 了 不用 encode 了

[LokiSharp]

额。。。貌似说错了，应该说是 sys.argv 传入的是 UTF-8 ，不需要 encode ，然后 Python 内部声明的都是 Unicode 所以要 encode 成其他的。。。

[fds]

不写 encode ， python 2 3 下都正常。写 encode ， python 2 失败， 3 正常。
mac 下 iterm 运行的。不知楼主怎么回事。直接打印看看？

[yeyuexia]

✗ python --version
Python 3.6.0

✗ cat test.py
import sys

str = sys.argv[1]
print(str)
print(type(str))
if str == "你好":
print("ok")
print('你好'.encode('utf-8'))
print(str.encode('utf-8'))

✗ python test.py '你好'
你好
<class 'str'>
ok
b'\xe4\xbd\xa0\xe5\xa5\xbd'
b'\xe4\xbd\xa0\xe5\xa5\xbd'


可能我用了假 python ……

[grimpil]

@xiaobai987 即是说通过参数传递进来的 str 本身就是 utf-8 编码的字符串？
因为我后面要用某个库里的一个函数需要对 str 执行 encode('utf-8')，里面的代码不方便改动，
那么在此之前，我需要的把 str 变成普通的字符串，然后确保 str.encode('utf-8')能顺利执行，请问这需要怎么做

[Eleutherios]

@grimpil 升级一下 python 版本？

[lxy42]

unicode 才要 encode
byte string 才要 decode

[lxy42]

@Eleutherios 他已经是 python 3 了

[xiaobai987]

@grimpil decode 试试 我也是新手

[lxy42]

代码（ python2.7 ）：

# -*- coding: utf8 -*-
import sys

str = sys.argv[1]
print str #打印出来是“你好”

if str == "你好":
print 'ok' #打印 ok

print '你好'.encode('utf-8') # 这行报错
print str.encode('utf-8')

打印信息如下：
你好
ok
Traceback (most recent call last):
File "test.py", line 10, in <module>
print '你好'.encode('utf-8')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

python2 的话，如果文件编码和终端编码相同，应该会打印出 ok 的。
python3 的话，我这边是没问题的，都是正常的，和#7 一致。

[grimpil]

@xiaobai987
@LokiSharp
@zhanglintc
@fds
@yeyuexia
@Eleutherios
@lxy42

谢谢各位，问题暂时解决了，
str.encode('utf-8','surrogateescape')
这样就没问题了

不过编码解码这一块，我确实得花点功夫研究一下，
不然每次遇到问题都要折腾好久，太痛苦了

[zhanglintc]

@grimpil 长见识了，赶紧学习了一波 surrogateescape

[lzjun]

推荐阅读： https://foofish.net/why-python-encoding-is-tricky.html