segmentfaultsegmentfault
注册登录
产品
社群
使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站✓站内搜索
注册登录
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU

[爬虫]同一个网页,用requests可以爬到数据,但是用scrapy爬不到

头像
hhhhhhh
    11
    发布于
    2020-01-08
    新手上路,请多包涵

    url=http://detail.zol.com.cn/index.php?c=SearchList&keyword=%C8%FD%D0%C7&page=1
    加上cookie,user-agent,用requests可以爬到数据,用scrapy状态码为200,但是数据为空,什么原因?

    数据挖掘scrapyrequest
    阅读 2.2k
    撰写回答
    你尚未登录,登录后可以
    • 和开发者交流问题的细节
    • 关注并接收问题和回答的更新提醒
    • 参与内容的编辑和改进,让解决方法与时俱进
    推荐问题
    • win11上跑 scrapy爬虫脚本,一直报错 'gbk' codec can't decode byte 0xae in position 324:?
      之前一直是好好的,代码也没变过,突然就报这个错误,并且在mac上是好的,我把win11上的代码移除重新从仓库里拉代码下拉也是一样的错误,是不是win上文件编码必须是gbk格式的。我用vscode编辑器右下角显示所有的文件都是UTF-8的,是不是都要把它转成gbk?

      1 回答1.1k 阅读

    相似问题
    • scrapy爬虫爬到的东西是空的为什么 错哪了?

      2 回答5.6k 阅读

    • [python爬虫] xpath没错,但运用scrapy框架无法爬到数据

      1 回答6k 阅读

    • scrapy爬虫爬取出问题?

      4 回答3.3k 阅读

    • scrapy爬虫每次爬到一定数量的网页就不再爬了

      1 回答8k 阅读

    • scrapy爬虫递归调用失效

      1 回答5.6k 阅读✓ 已解决

    找不到问题?创建新问题
    宣传栏
    思否旗下产品
    SegmentFault
    思否企业服务
    思否公开课
    思否企业问答
    ONES 旗下产品
    ONES
    Tower
    为知笔记
    企业问答
    ONES.com
    项目管理百科
    资源
    每周精选
    用户排行榜
    帮助中心
    建议反馈
    声望
    勋章
    合作
    关于我们
    广告投放
    联系我们
    合作伙伴
    关注
    产品技术日志
    社区运营日志
    市场运营日志
    社区访谈
    条款
    服务协议
    隐私政策
    下载 App

    Copyright © 2011-2025 SegmentFault. 当前呈现版本 25.06.06

    浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

    杭州堆栈科技有限公司版权所有

    思否 - 凝聚集体智慧,推动技术进步