主要观点：

• 数据工程工作需在速度、可靠性和可维护性之间保持平衡，仅将数据从一个系统移到另一个系统是不够的。
• 选择工具很重要，AWS 提供多种处理数据的服务，在实际数据项目中，一些服务很有用。

关键信息：

• 介绍了 7 种 AWS 服务：Amazon S3（数据湖基础）、AWS Glue（批量作业的托管 ETL）、AWS Lambda（小而快的事件驱动作业）、Amazon Athena（无需仓库的 SQL）、Amazon Redshift（高性能分析）、Amazon EMR（有更多控制的大数据）、Amazon Kinesis（处理动态数据）。
• 每种服务的特点和用途，如 S3 用于存储各种文件，Glue 用于转换和数据清理，Lambda 用于快速任务，Athena 用于直接在 S3 上运行 SQL 等。
• 实际生产系统通常混合使用这些服务，形成特定的处理流程，如数据先到 S3，通过 Lambda 和 Glue 处理后再到 Athena 等进行分析。

重要细节：

• 在 S3 上设置良好的文件夹结构很关键，可使管道更可预测。
• Glue 的默认设置不一定最佳，需调整 DPUs 和启用书签。
• Lambda 运行有时间和负载限制，可将大任务拆分成小步骤。
• Athena 成本与扫描数据量有关，分区可减少读取量。
• Redshift 性能依赖表设计，Redshift Spectrum 可在不加载数据的情况下查询 S3 数据。
• EMR 用于需要全环境控制的情况，配置比 Glue 更复杂但更灵活。
• Kinesis 用于流数据处理，需提前规划扩展，简单情况可用 Kinesis Data Firehose。

总结：AWS 有多种服务可用于数据处理，实际生产中常用其中几种，合理组合可满足存储、转换、分析等需求，随着经验积累可知道在不同情况选择合适服务，使管道更高效、可维护和可靠。