主要观点:2025 年 5 月在加利福尼亚州圣克拉拉的 2025 嵌入式视觉峰会上,BrainChip 首席技术官 Tony Lewis 展示了公司在状态空间模型(SSMs)方面的研究,其能在有限计算环境中以极低功耗提供 LLM 能力,如行车记录仪、医疗设备、安防摄像头和玩具等。
关键信息:
- BrainChip 的 TENN 1B LLM 采用 SSM 架构。
- SSMs 核心目标是绕过基于 Transformer 模型的上下文处理限制,利用矩阵仅基于最后看到的标记生成输出,体现马尔可夫性质,而 Transformer 模型需访问所有先前标记。
- 由于无记忆性,SSMs 可解决低功耗计算环境中的诸多限制,如更好利用 CPU 缓存、减少内存分页等,还可用较慢的只读存储器存储模型参数和状态。
- BrainChip 开发了 TENN(基于时间事件的神经网络)模型,目前是 10 亿参数模型,有 24 个 SSM 层,可在只读闪存下以低于 0.5 瓦功耗运行,100ms 内返回结果。
- Lewis 解释 TENN 模型的惊人指标是马尔可夫性质所致,称其实际使用的缓存极小。
- BrainChip 正将模型量化至 4 位以在边缘设备硬件上高效运行。
- 在 BrainChip 进行的基准测试中,TENN 模型与 Llama 3.2 1B 相比表现良好,但性能取决于特定应用,建议使用 RAG 应用架构防止幻觉。
重要细节: - 详细介绍了 SSMs 与 Transformer 模型在性能和资源利用方面的差异及 SSMs 的独特优势。
- 提及了相关技术文章如 InfoQ 的“状态空间解决方案到幻觉:状态空间模型如何切割竞争”和 Hugging Face 的“状态空间模型(SSM)介绍”。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。