spark工程里面有关配置文件的使用情况

liuming_music
  • 417

问题描述

sparksql项目,sql脚本是放在resource/sql/文件在下面(业务不同,脚本有点多);本地编写代码加载sql脚本使用this.getClass.getResource().getPath方式,获取路径进行文件内容读取组装成sql字符串进行执行。
现在需要将打好的jar进行spark-submit提交,运行结果始终就出现文件路径无法找见(打印日志也看得出来路径根本不存在;可问题是解压了打包的jar包,配置文件就在里面)

问题出现的环境背景及自己尝试过哪些方法

自己尝试过的方式是将打包和配置文件近分散处理,指定配置文件在linux中的位置进行读取加载。但是始终觉得这种方式有点low。不知道网友又遇到过这方面的问题否。给一点思路即可。谢谢。

回复
阅读 2.4k
1 个回答

手头没环境没法测。
我猜测是this.getClass.getResource().getPath拿到的路径在spark的环境里去hdfs上取了。
我classpath下的文件读取都是用的类库 com.typesafe.config 读取的,本地和线上都没问题。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏