大型语言模型中分类和层次概念的几何结构

主要观点:提出线性表示假设,将其用于表示二进制概念及扩展到表示特征为向量,可将分类概念表示为表示空间中的多面体,还证明概念层次结构与表示几何之间的关系,并在 Gemma 和 LLaMA-3 模型上验证理论结果,通过 WordNet 数据估计 900 多个相关概念的表示。
关键信息:已被接受在 ICLR 2025 进行口头报告,获 ICML 2024 机制可解释性研讨会最佳论文奖,代码可在特定 URL获取,涉及多个学科领域如计算与语言、人工智能、机器学习等,有多个版本的提交记录,最新版本为 v3。
重要细节:从 Kiho Park 提交,v1 于 2024 年 6 月 3 日 16:34:01 UTC 提交,大小 6202KB;v2 于 2024 年 10 月 9 日 03:39:11 UTC 提交,大小 6963KB;v3 于 2025 年 2 月 18 日 02:23:45 UTC 提交,大小 6969KB,引用地址为arXiv:2406.01506arXiv:2406.01506v3及[https://doi.org/10.48550/arXi...]。

阅读 17
0 条评论