博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark能传递外部命名参数给main函数吗?
阅读量:6870 次
发布时间:2019-06-26

本文共 1055 字,大约阅读时间需要 3 分钟。

查了资料好像都没有办法。只能通过:

def main(args: Array[String]): Unit = {    // 读取参数    var city = args(0)    var input = args(1)    var date = args(2)

下标来获取。不过不确定,去stackoverflow发帖问下。

https://stackoverflow.com/questions/46845292/can-spark-submit-with-named-argument/46845525#46845525

确实不能,如果要的话,就需要自己写代码来解析:

object CommandLineUtil {  def getOpts(args: Array[String], usage: String): collection.mutable.Map[String, String] = {    if (args.length == 0) {      log.warn(usage)      System.exit(1)    }    val (opts, vals) = args.partition {      _.startsWith("-")    }    val optsMap = collection.mutable.Map[String, String]()    opts.map { x =>      val pair = x.split("=")      if (pair.length == 2) {        optsMap += (pair(0).split("-{1,2}")(1) -> pair(1))      } else {        log.warn(usage)        System.exit(1)      }    }    optsMap  }}
val usage = "Usage:  [--citys] [--num]"val optsMap = CommandLineUtil.getOpts(args, usage)val citysValue = optsMap("citys")val numValue = optsMap("num")本文转自轩脉刃博客园博客,原文链接:http://www.cnblogs.com/yjf512/p/7719722.html,如需转载请自行联系原作者
你可能感兴趣的文章
舒服的颜色2
查看>>
Android 用户界面---通知(Notifications)概要
查看>>
linux下挂载U盘
查看>>
防SQL注入 记
查看>>
创业公司该不该被收购?(转)
查看>>
更改visio的默认线粗方法
查看>>
单例的使用总结
查看>>
PHP获取本周第一天和最后一天
查看>>
Razor练习4
查看>>
【OpenStack】OpenStack系列16之OpenStack镜像制作
查看>>
STL algorithm源代码:stl_algo.h
查看>>
VK Cup 2016 - Qualification Round 2 C. Road Improvement dfs
查看>>
Linux下文件重命名、创建、删除、修改及保存文件
查看>>
判断IP是否为爬虫IP
查看>>
Linux 内核使用的 GNU C 扩展
查看>>
Android 之 用WebView显示网页
查看>>
go——搭建Win7下的Go开发环境
查看>>
ubuntu14.04 中国源
查看>>
学一学书里的django是怎么写views.py的
查看>>
微信支付开发(8) 刷卡支付
查看>>