Scrapy 爬取中文内容后的编码问题

jack_king
  • 307

在爬取网站的中文内容后,返回了这样的结果:

"name": "\u70df\u53f0\u7ea2\u5bcc\u58eb80mm\u4ee5\u4e0a"

请问我能有什么办法将后面的内容转化为中文吗?

回复
阅读 6.1k
4 个回答

没问题的,不用转换,写入文件或者写入数据库就正常了

如果你使用的是最新版的Scrapy,如现在的最新版本为1.2.1,那么当你在运行爬虫的时候,你可以输入以下命令来实现输出的json格式文件直接显示中文:

scrapy crawl yourspider -o name.json -s FEED_EXPORT_ENCODING=utf-8

如果你要的是直接得到中文的效果的话 要用unicode_escape再转一下。

x = {"name": "\u70df\u53f0\u7ea2\u5bcc\u58eb80mm\u4ee5\u4e0a"}
print x['name'].decode('unicode_escape')
宣传栏