这是一篇关于 DuckDB 中嵌套数据类型处理的博客文章，主要内容如下：

• 引言：嵌套数据类型在分析中很常见，传统处理需要规范化和聚合，DuckDB 提供了原生的嵌套类型功能来简化操作。
• 列表（Lists）：DuckDB 的LIST类型可包含任意数量相同数据类型的元素，内部通过Vectors处理，其嵌套向量表示可复用现有组件。
• Lambda 函数（Lambdas）：匿名函数，DuckDB 有三个用于处理 Lambda 的标量函数list_transform、list_filter和list_reduce。

• 深入探讨：列表转换（Zooming In: List Transformations）：

  • 纯关系型解决方案（Pure Relational Solution）：使用纯关系运算符处理嵌套列表需进行解嵌套、元素转换和重新聚合等步骤，代码可读性尚可但复杂变换查询冗长且性能不佳，内部执行过程中解嵌套和相关列操作可避免数据复制，但重新聚合步骤会导致性能问题。
  • 原生列表函数（Native List Functions）：DuckDB 的原生列表函数可直接操作LIST数据结构，避免了上述问题，以list_transform为例，内部通过扩展相关向量和使用 Lambda 函数进行表达式执行，无需重新聚合步骤，性能大幅提升，如在添加 100 万行数据的测试中，原生查询比规范化查询快 10 倍以上。

• 社区中的列表和 Lambda（Lists and Lambdas in the Community）：

  • list_transform：将 Lambda 函数应用于输入列表的每个元素，如用户实现的list_shuffle函数和查询远程 Parquet 文件的示例。
  • list_filter：过滤输入列表中 Lambda 函数返回true的元素，示例展示了如何使用list_filter和其他原生列表函数实现删除列表中特定索引元素的功能。
  • list_reduce：应用 Lambda 函数到累加器值，示例为验证荷兰 BSN 号码的功能，在添加支持list_reduce后可简化查询。
• 结论：原生嵌套类型支持对分析系统很重要，DuckDB 提供了相关功能和函数，使处理嵌套类型更简单和快速，文中通过list_transform函数深入探讨了处理嵌套类型的技术细节，并展示了社区中的各种用例。