segmentfaultsegmentfault
注册登录
产品
社群
使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站✓站内搜索
注册登录
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU

Spark 关于判断空RDD的速率

头像
USTCCoder
    2944
    发布于
    2015-12-22

    如题,我有如下操作,var temp = sqlContext.sql("select * from Queue where id>8") temp可能返回的是空RDD(存在分区),此时我使用temp.rdd.take(1).length判断是否为空,为什么空RDD比非空RDD消耗的时间更长呢?

    sparkspark-submit
    阅读 5.4k
    撰写回答
    你尚未登录,登录后可以
    • 和开发者交流问题的细节
    • 关注并接收问题和回答的更新提醒
    • 参与内容的编辑和改进,让解决方法与时俱进
    推荐问题
    • scala栈溢出的问题?
      代码: {代码...} 错误: {代码...} 一直会报栈溢出我尝试增大栈的大小: {代码...} 但是时好时坏好像也不是代码的问题我想根治这个问题谢谢大神!!!补充:redisDAO {代码...}

      1 回答858 阅读✓ 已解决

    • spark mlib堆栈溢出错误 谢谢?
      每次运行ALS.train(ratings,rank,numIterations,lambda)都会报错我尝试了把类序列化/移出config/检查4个变量的输入 都不行谢谢大神

      1 回答731 阅读✓ 已解决

    相似问题
    • locally 的 spark streaming 任务如何停止?

      1 回答5.9k 阅读

    • spark on yarn运行应用出错!

      1 回答4.8k 阅读✓ 已解决

    • 关于spark及时查询的方案

      995 阅读

    • pycharm开发spark,添加运行参数jars

      1 回答5.2k 阅读

    • spark程序实际环境是如何运用的

      1 回答4.4k 阅读✓ 已解决

    找不到问题?创建新问题
    宣传栏
    思否旗下产品
    SegmentFault
    思否企业服务
    思否公开课
    思否企业问答
    ONES 旗下产品
    ONES
    Tower
    为知笔记
    企业问答
    ONES.com
    项目管理百科
    资源
    每周精选
    用户排行榜
    帮助中心
    建议反馈
    声望
    勋章
    合作
    关于我们
    广告投放
    联系我们
    合作伙伴
    关注
    产品技术日志
    社区运营日志
    市场运营日志
    社区访谈
    条款
    服务协议
    隐私政策
    下载 App

    Copyright © 2011-2025 SegmentFault. 当前呈现版本 25.06.06

    浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

    杭州堆栈科技有限公司版权所有

    思否 - 凝聚集体智慧,推动技术进步