主要观点:扩散模型已成为高维生成的主力,但其生成的结果更注重“看起来真实”,而许多工程和实际任务更关注特定任务的得分或奖励。“扩散精英”方法旨在通过让预训练的扩散模型提供先验,让适应的交叉熵方法(CEM)在其潜在空间内引导搜索,以缩小这一差距。
关键信息:
- 扩散精英算法简单,先从高斯分布中抽取潜在向量,经去噪得到结构化对象,用奖励函数评分,保留精英潜在向量并重新拟合高斯分布迭代。
- 该算法具有并行化、高灵活性奖励(可使用世界模型、模拟器、LLM 等计算奖励,且可并行)、加速(迭代时不必运行太多去噪步骤)、在低维潜在空间搜索高效、留在数据流形内、灵活建模潜在分布等特性。
- 通过实验展示,在简单运动模型生成的轨迹数据集上,用扩散模型进行修复效果不佳,而用扩散精英能快速收敛到接近目标的解,且可在多个领域探索。
重要细节: - 算法输入包括固定解码器、奖励函数、种群大小、精英比例、迭代次数等,通过一系列步骤更新均值和方差。
- 代码示例用简单对角高斯拟合算法,可在 PyTorch 中实现。
- 实验中用 1D CNN UNet 训练扩散模型处理音频信号类似的数据,生成随机轨迹数据集,展示扩散修复和扩散精英的效果对比。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。