如何在 Apache Spark 中执行 sql 查询

Question

我对 Apache Spark 很陌生。

我已经在本地 Windows 机器上配置了 spark 2.0.2。我已经用火花完成了“字数统计”的例子。

现在，我在执行 SQL 查询时遇到了问题。我已经搜索过相同的内容，但没有得到适当的指导。

原文由 rajkumar chilukuri 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

你应该有你的 Spark DataFrame。

从 DataFrame 创建一个 TempView

 df.createOrReplaceTempView("dftable")
dfsql = sc.sql("select * from dftable")

您可以使用语句格式的长查询：

 sql_statement = """
select sensorid, objecttemp_c,
year(DateTime) as year_value,
month(DateTime) as month_value,
day(DateTime) as day_value,
hour(DateTime) as hour_value
from dftable
order by 1 desc
"""

dfsql = sc.sql(sql_statement)

原文由 GaneshMuni 发布，翻译遵循 CC BY-SA 4.0 许可协议