有refer id

@Ziya 对的，已经使用requests处理了，谢谢

@swulling 嗯，对这些库不太熟，所以会走些弯路 ：）

@swulling 谢谢，最终还是用你的request方法解决了，在回贴之前我看到有人说淘宝的编码可能是gb18030的，我试着用BeautifulSoup先把内容抓下来再去用pq处理，
像这样的方法
page = urllib2.urlopen('http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC');
soup = BeautifulSoup(page,fromEncoding="gb18030")
d = pq(soup. prettify())
但还是会出现乱码。。。我觉得还是因为没有正常识别所采集网页编码 的问题

从写这个脚本开始，我只知道pquery和beautifulsoup是采集的库，其他的还不太了解，而且刚接触这个语言就遇到编码 的问题，的确很头痛，不过谢谢你啦。

19岁女孩看xx，激动的泪流满面

@pigletfly

print price.decode('gbk')
会报错
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

@swulling
print price.decode('gbk')
会报错
print price.decode('gbk')
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

@swulling

@swulling 谢谢你的解答，好多pyquery的编码都有你的身影，也根据你在别的贴子里的回复做过调试
1，mysql表的整理选项是utf8_general_ci
2,这个我再试一下不要setdefaultencoding('utf-8')的情况下decode('gbk'),我终端是utf8编码 的
3，是，我也注意到这个问题，但我我拿到采集后，连unicode都打印不出来

先去给同事修个电脑，回来继续test

现在的问题是：插入到数据库的全是乱码，实在是不知道怎么转换了。

@swulling pyjquery所有的输出好像都是unicode？

apple store实体店里的那种就挺好。

@ryanliketea 能不能给个联系方式

先拿去检修一下，让他们看看什么毛病，然后再问问他们能不能给换块电池。。

攒私房钱吧

晕，我不知道怎么加视频