主要观点：

• 60 小时的训练工作成为新常态，但存在问题，模型和数据并非如此耗时，最终发现问题在编译器栈中。
• 部署量化神经网络时，虽有各种优化但 GPU 利用率仍受限，原因是编译器处理特定激活模式时出错，导致融合内核被分割，破坏并行性和引入内存停滞。
• 调试过程中，借助relay.analysis模块发现某些常见模式未被捕捉，还需隔离受影响模式并创建自定义降低路径，同时 TensorRT 日志揭示校准范围问题。
• 为保持可重复性添加模型 IR 检查点哈希逻辑和内部版本控制机制，因模型量化流程改变导致 SageMaker Edge 部署容器出错，需重新验证和更新。
• 性能提升有代价，量化模型在边缘部署中损失精度，影响下游模型审计的可解释性，需权衡。
• 多数性能提升来自理解现有工具的失败，应构建编译器可见性，追踪每个 IR 块和回退路径，通过内部仪表盘跟踪编译器回归。

关键信息：

• 训练工作时长及各组件状态，模型和数据情况。
• 编译器栈中导致问题的具体情况及代码示例。
• 调试过程中的工具和方法及发现的问题。
• 为解决问题采取的措施及带来的影响。
• 性能提升的代价及相关反思。

重要细节：

• 部署的网络架构及各组件作用，如 TensorFlow、TensorRT、TVM 等。
• 调试中使用的relay.analysis模块代码及作用。
• 为保持可重复性添加的哈希逻辑和版本控制机制细节。
• 性能提升带来的不同模型的具体变化及权衡情况。
• 内部仪表盘的作用及历史可见性的帮助。