segmentfaultsegmentfault
注册登录
产品
社群
使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站✓站内搜索
注册登录
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU

scrapy为何抓不到某个标签下的属性?

头像
eote
    527711
    发布于
    2016-01-29

    图片描述

    如图code标签下有class属性,能用浏览器看到。

    使用scrapy shell默认的User-Agent就得不到class属性。
    图片描述

    换了一个User-Agent也一样

    图片描述

    scrapypython2.7网页爬虫
    阅读 4k
    1 个回答
    得票最新
    头像
    hsfzxjy
      22k51941
      发布于
      2016-01-29

      code的class属性是用js加上去的,当然读不到咯

      撰写回答
      你尚未登录,登录后可以
      • 和开发者交流问题的细节
      • 关注并接收问题和回答的更新提醒
      • 参与内容的编辑和改进,让解决方法与时俱进
      推荐问题
      • win11上跑 scrapy爬虫脚本,一直报错 'gbk' codec can't decode byte 0xae in position 324:?
        之前一直是好好的,代码也没变过,突然就报这个错误,并且在mac上是好的,我把win11上的代码移除重新从仓库里拉代码下拉也是一样的错误,是不是win上文件编码必须是gbk格式的。我用vscode编辑器右下角显示所有的文件都是UTF-8的,是不是都要把它转成gbk?

        1 回答1.1k 阅读

      相似问题
      • scrapy 为何无法爬数据?

        4 回答24.6k 阅读

      • 多个scrapy-redis无法同时抓取

        2 回答4.1k 阅读✓ 已解决

      • scrapy抓取知网response的内容重复

        3 回答4.9k 阅读

      • scrapy 抓取li标签下的内容为空?

        1 回答5.8k 阅读

      • scrapy中不同站点多次抓取

        1 回答4.6k 阅读

      找不到问题?创建新问题
      宣传栏
      思否旗下产品
      SegmentFault
      思否企业服务
      思否公开课
      思否企业问答
      ONES 旗下产品
      ONES
      Tower
      为知笔记
      企业问答
      ONES.com
      项目管理百科
      资源
      每周精选
      用户排行榜
      帮助中心
      建议反馈
      声望
      勋章
      合作
      关于我们
      广告投放
      联系我们
      合作伙伴
      关注
      产品技术日志
      社区运营日志
      市场运营日志
      社区访谈
      条款
      服务协议
      隐私政策
      下载 App

      Copyright © 2011-2025 SegmentFault. 当前呈现版本 25.06.06

      浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

      杭州堆栈科技有限公司版权所有

      思否 - 凝聚集体智慧,推动技术进步