“DataFrame”对象没有属性“withColumn”

Question

我正在尝试比较两个 pandas 数据帧，但出现错误，因为“DataFrame”对象没有属性“withColumn”。可能是什么问题？

 import pandas as pd
import pyspark.sql.functions as F

pd_df=pd.DataFrame(df.dtypes,columns=['column','data_type'])
pd_df1=pd.DataFrame(df1.dtypes,columns=['column','data_type'])

pd.merge(pd_df,pd_df1, on='column', how='outer'
    ).withColumn(
    "result",
    F.when(F.col("data_type_x") == 'NaN','new attribute'.otherwise('old attribute')))
    .select(
    "column",
    "data_type_x",
    "data_type_y",
    "result"
    )

df 和 df1 是一些数据框

原文由 jakrm 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您混淆了 pandas 数据框和 Spark 数据框。

问题是熊猫 df 没有火花功能 withColumn 。

原文由 Ani Menon 发布，翻译遵循 CC BY-SA 4.0 许可协议