主要观点：AWS Glue 是强大的无服务器数据集成工具，但实际应用中存在一些未在文档中明确指出的问题。
关键信息：

• 处理 CSV 文件时，多个文件的模式不一致会导致 Glue 自动创建多个表，可能出现数据缺失或错误。
• S3 层和爬虫设置会影响爬虫行为，需注意文件夹结构和爬虫配置。
• 分区和增量爬虫需正确配置爬虫以保持目录同步。
• 模式演变有多种处理方式，需选择合适的避免数据丢失和表重复。
• 爬虫可能会无声失败，需检查设置和日志。
• 有时跳过爬虫直接使用 Glue ETL jobs 能获得更好的控制和可靠性。
  重要细节：
• CSV 格式灵活但缺乏嵌入模式元数据，Glue 依赖抽样推断模式。
• 对于分区数据，使用一致的文件夹命名约定和合适的爬虫配置。
• 处理模式演变可通过 ETL jobs、爬虫或手动更新表模式。
• 爬虫失败可能是设置问题或模式不匹配，可通过重新运行爬虫解决。
• Glue ETL jobs 能更好地控制数据处理和目录更新。

结论：Glue 爬虫很强大但有缺陷，在数据干净、结构良好时效果最佳，在动态环境中需结合 Glue ETL jobs 以构建更可靠的管道。