segmentfaultsegmentfault
注册登录
产品
社群
使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站✓站内搜索
注册登录
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU

搭建spark伪分布式需要先搭建hadoop吗?如果要先搭建hadoop的话,hadoop也是搭建伪分布式吗

头像
进西米大
    3231481101
    发布于
    2016-05-09

    新手一枚,求一个大神教一下怎么搭建spark

    spark
    阅读 4.5k
    2 个回答
    得票最新
    头像
    linkse7en
      608114
      发布于
      2016-05-18
      更新于
      2016-05-18

      Spark和Hadoop是完全两种集群。Spark是分布式计算框架,Hadoop是分布式计算/存储/调度框架。Spark可以无缝访问存在HDFS上的数据。
      所以两个集群如何搭建是没有关系的。Spark只关心如何访问HDFS,就是hdfs://namenode:port/能访问就行。
      当然Spark作业提交到YARN那是另外一回事了。

      头像
      funnng
        1
        发布于
        2016-05-09
        新手上路,请多包涵

        https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=spark1.6.1+%E9%85%8D%E7%BD%AE 搜索一下会死啊

        查看全部 2 个回答
        推荐问题
        • scala栈溢出的问题?
          代码: {代码...} 错误: {代码...} 一直会报栈溢出我尝试增大栈的大小: {代码...} 但是时好时坏好像也不是代码的问题我想根治这个问题谢谢大神!!!补充:redisDAO {代码...}

          1 回答883 阅读✓ 已解决

        • spark mlib堆栈溢出错误 谢谢?
          每次运行ALS.train(ratings,rank,numIterations,lambda)都会报错我尝试了把类序列化/移出config/检查4个变量的输入 都不行谢谢大神

          1 回答752 阅读✓ 已解决

        相似问题
        • spark 用伪分布式部署 worker 只能启动一个吗?

          1 回答1.4k 阅读

        • 启动spark伪分布式模式,这些警告是什么意思啊

          1.9k 阅读

        • hadoop spark 大数据的分布式通信原理 有个疑问?求指教一下

          1k 阅读

        • 金融物联网领域dolphinDb火热,其中相比较传统Hadoop和spark等分布式数据库的优势在哪里了

          1.2k 阅读

        • spark集群中每个节点都有一个独立数据库,可以实现分布式统计计算吗?

          1 回答5.1k 阅读

        找不到问题?创建新问题
        宣传栏
        思否旗下产品
        SegmentFault
        思否企业服务
        思否公开课
        思否企业问答
        ONES 旗下产品
        ONES
        Tower
        为知笔记
        企业问答
        ONES.com
        项目管理百科
        资源
        每周精选
        用户排行榜
        帮助中心
        建议反馈
        声望
        勋章
        合作
        关于我们
        广告投放
        联系我们
        合作伙伴
        关注
        产品技术日志
        社区运营日志
        市场运营日志
        社区访谈
        条款
        服务协议
        隐私政策
        下载 App

        Copyright © 2011-2025 SegmentFault. 当前呈现版本 25.06.09

        浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

        杭州堆栈科技有限公司版权所有

        思否 - 凝聚集体智慧,推动技术进步