在下是个初级JAVA,目前接手了一个任务做一个数据加工系统。拿一个连锁超市举例子,这个超市的老板通过我们的系统上传小票文件,然后我们根据文件中每一条小票上的店名,销售人员和商品信息,给这个超市老板出一个报表,比如说店销售额排名,人员销售额排名等等。但是可能文件很大,没办法一次性读到内存里计算,希望借助Spark来实现...在这里有一个困惑,就是如何使用JAVA自动将这个计算任务交给Spark并获取到结果...
在下是个初级JAVA,目前接手了一个任务做一个数据加工系统。拿一个连锁超市举例子,这个超市的老板通过我们的系统上传小票文件,然后我们根据文件中每一条小票上的店名,销售人员和商品信息,给这个超市老板出一个报表,比如说店销售额排名,人员销售额排名等等。但是可能文件很大,没办法一次性读到内存里计算,希望借助Spark来实现...在这里有一个困惑,就是如何使用JAVA自动将这个计算任务交给Spark并获取到结果...
8 回答6.5k 阅读
4 回答688 阅读✓ 已解决
2 回答3.4k 阅读
3 回答1.9k 阅读✓ 已解决
1 回答2.1k 阅读✓ 已解决
1 回答2.1k 阅读✓ 已解决
1 回答962 阅读✓ 已解决
把java达成jar包提交到spark上.
把结果输入到hdfs集群上.