将 pyspark 字符串转换为日期格式

Question

我有一个日期 pyspark 数据框，其字符串列的格式为 MM-dd-yyyy 我正在尝试将其转换为日期列。

我试过了：

 df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

我得到一串空值。任何人都可以帮忙吗？

原文由 Jenks 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

更新（2018 年 1 月 10 日）：

对于 Spark 2.2+，最好的方法可能是使用 to_date 或 to_timestamp 函数，它们都支持 format 参数。从文档：

 >>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

原始答案（适用于 Spark < 2.2）

可以（最好？）在没有 udf 的情况下执行此操作：

 from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)],
    ['date_str']
)

df2 = df.select(
    'date_str',
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+

原文由 santon 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType

# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"),
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()

这是输出：

 +----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)

原文由 Hugo Reyes 发布，翻译遵循 CC BY-SA 3.0 许可协议