pyspark 向数据框添加新行

Question

我正在尝试向数据框添加新行但不能。

我的代码：

 newRow = Row(id='ID123')
newDF= df.insertInto(newRow)
 or
newDF= df.union(newRow)

错误：

 AttributeError: _jdf

AttributeError: 'DataFrame' object has no attribute 'insertInto'

原文由 HilaD 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

尝试：（ 文档）

 from pyspark.sql import Row
newDf = sc.parallelize([Row(id='ID123')]).toDF()
newDF.show()

原文由 i.n.n.m 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

使用 pyspark 在数据框中添加行的简单方法

newRow = spark.createDataFrame([(15,'Alk','Dhl')])
df = df.union(newRow)
df.show()

原文由 Alkesh Mahajan 发布，翻译遵循 CC BY-SA 4.0 许可协议