主要观点：

• 当今数据科学家在 Apache Kafka 中处理数据有多种选择，流处理有Kafka Streams、ksqlDB、Apache Flink等，实时分析有Apache Druid、Clickhouse、Apache Pinot、Apache Doris等，这些系统都支持分布式处理。
• 出现了嵌入式 OLAP 数据库，如Apache DataFusion、chDB、DuckDB，DuckDB 因易用性和丰富功能集而受欢迎。
• Kafka 中最流行的数据存储格式有 Apache Avro、Protobuf 和 JSON，都受Confluent Schema Registry支持，DuckDB 是唯一支持联合类型的数据库，可用于存储和分析这些格式的数据。
• 可使用 JDBC sink 连接器将 Kafka 数据加载到关系数据库，但设置复杂且不支持 DuckDB 特定功能，因此创建了 kwack 工具，可将 Kafka 数据加载到 DuckDB 并利用其丰富类型系统。
• 将 Kafka 数据加载到 DuckDB 后可利用其众多功能，如运行 SQL 查询、导出为 Apache Parquet 格式等，还可将 DuckDB 数据库持久化到文件并使用官方 DuckDB 命令行进行分析查询，也可在命令行传递 SQL 查询并输出结果，还可与 jq 等工具结合使用。在 Confluent Cloud 中使用 kwack 可通过文件传递属性和凭证。

关键信息：

• 多种处理和分析 Kafka 数据的工具及数据库。
• DuckDB 的特点和支持的类型映射。
• kwack 工具的功能和使用方法。
• 与不同环境和工具的结合使用。

重要细节：

• kwack 启动方式及默认设置，如指定 Kafka 代理、主题、模式注册表 URL 等，默认使用简单二进制反序列化器等。
• 可通过 -p、-o 等选项指定要加载的分区或偏移量等。
• 加载多个主题并进行连接的示例。
• 写入 DuckDB 表为 Parquet 格式及持久化数据库的方法。
• 在 Confluent Cloud 中通过文件传递属性的方式。