spark读取外部配置⽂件之--files
在运⾏spark程序的时,有时需要读取外部配置参数,⽐如mysql的host参数、端⼝号、es主机ip、es端⼝号等。通过外部⽂件配置参数也⽅便程序迁移。下⾯就来看看如何来实现。
1、⾸先我们需要⼀个配置⽂件:
es.port: 9200
2、上传配置⽂件到某个节点:
3、然后需要在程序⾥加上如下代码:
Properties props = new Properties();
props.load(new FileInputStream("l"));运动会加油稿30字左右
String nodes = Property("es.nodes");
String port = Property("es.port");
怎样提升自己的语言表达能力>邮政快递怎么查4、通过 Maven打包程序:test.jar
5、上传 test.jar 到集
农村赚钱生意6、执⾏ submit 命令
梦见朋友搬家spark-submit --master yarn-cluster --class com.
Test
--files /home/l /home/lw/test.jar
--files 参数指定我们需要加载的外部配置⽂件
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论