淘宝爬虫问题

新手上路,请多包涵

为什么现在我用库无论是urllib2 requests还是selenium加phantomjs都爬不了淘宝了!
我是小白,希望大神可以指点一下

阅读 6k
6 个回答

建议把问题写详细点,你说的爬不了是压根就不返回数据还是返回的数据不是你在网页上看到的?还有就是贴上代码,方便大家帮你调试

试试神箭手云爬虫平台的淘宝商品信息及评价采集爬虫(按商品搜索关键字)支持云端自动采集,试试监控更新~
爬虫链接:http://www.shenjianshou.cn/in...

requests是没有返回值还是被服务器拒绝了?请详细描述

根本不知道你在说什么

新手上路,请多包涵
import requests
HOST = 'http://www.taobao.com/'
resources = requests.get(HOST)
print resources.context

打印出来有东西后,你要根据DOM节点去截取,选择你需要的部分才行。

你的问题不够详细啊,试试这个代码。

import requests

res = requests.get(url="https://www.taobao.com/")

print res.text
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题