现代应用依赖分布式数据库处理大量数据并跨多节点无缝扩展。分片虽有助于分配负载，但引入了跨分片连接和数据移动的重大挑战，会显著影响性能。

• 理解问题：跨分片连接和数据移动

  • 数据移动方式：如典型电商数据库中，Orders表按CustomerID分片，Products表按ProductID分片，查询跨分片数据需移动数据，导致高网络延迟、查询执行时间增加、CPU 使用率提高。
  • 分片键选择：Orders表分片键为CustomerID利于客户历史检索，Products表分片键为ProductID确保产品数据均匀分布。

• 避免数据移动的策略

  • 策略 1：复制参考表：在所有节点复制参考表，避免跨分片通信，实现本地连接，但不适用于大型表或频繁更新的表。
  • 策略 2：在同一分片放置相关数据：将Orders和Products表按同一键（如CustomerID）分片，使连接在本地进行，避免跨分片数据移动，适用于基于共享键频繁连接的查询，但表增长不同时效率不佳。
  • 策略 3：使用映射表进行高效连接：创建客户-产品映射表，先查询所需分片的shard_id，再查询相关分片，减少查询分片数量，适用于大型数据集但更新频繁时维护开销大。
  • 策略 4：预计算连接表（物化视图）：预先计算并存储常用连接结果，查询时无需连接，适用于读密集型工作负载，但数据集频繁变化时需频繁重新计算，存储成本高。

• 选择合适策略的权衡与考虑

  • 一般指南：小参考表用复制，查询自然按特定键分组用 colocating，大型参考表用映射表，高性能分析查询用预计算连接。
• 结论：跨分片数据移动是分布式数据库的性能挑战，应用上述策略可优化查询性能和减少网络开销，选择合适策略需考虑查询模式、数据分布和存储约束。