我可以在本地测试 AWS Glue 代码吗？

Question

阅读 Amazon 文档后，我的理解是运行/测试 Glue 脚本的唯一方法是将其部署到开发端点并在必要时进行远程调试。同时，如果（Python）代码由多个文件和包组成，则除主脚本外都需要压缩。这一切给我的感觉是，Glue并不适合任何复杂的ETL任务，因为开发和测试都很麻烦。我可以在本地测试我的 Spark 代码，而不必每次都将代码上传到 S3，并在 CI 服务器上验证测试，而无需支付开发 Glue 端点的费用。

原文由 lfk 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

最终，截至 2019 年 8 月 28 日，亚马逊允许您下载二进制文件和

在本地使用 Scala 和 Python 开发、编译、调试和单步执行 Glue ETL 脚本和复杂的 Spark 应用程序。

查看此链接： https ://aws.amazon.com/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/

原文由 Brian 发布，翻译遵循 CC BY-SA 4.0 许可协议