我看到文档里写 Spark 中可以用 $"name" 的形式表示 name 这一列。
我的代码类似这样的:
initialDataFrame.join(broadcast(usersToKeep), $"userID" === $"userID_")
但是编译错误,提示我:
value $ is not a member of StringContext
我应该引入哪个包才能使用这种语法?
PS:我用的 spark 版本是 1.5,scala 版本是 2.10.4
我看到文档里写 Spark 中可以用 $"name" 的形式表示 name 这一列。
我的代码类似这样的:
initialDataFrame.join(broadcast(usersToKeep), $"userID" === $"userID_")
但是编译错误,提示我:
value $ is not a member of StringContext
我应该引入哪个包才能使用这种语法?
PS:我用的 spark 版本是 1.5,scala 版本是 2.10.4
1 回答2.3k 阅读✓ 已解决
1 回答565 阅读✓ 已解决
1 回答487 阅读✓ 已解决
spark2.0下面:参考
老版本(未亲测)