主要观点:在 dmodel ,专注于用可解释技术理解和引导模型,分享了引导向量比提示工程能产生更好结果的例子,如对个性的精细控制、提高创造力、符合原型等,同时指出引导也有挑战,如应用正负值不当会产生奇怪重复输出、给角色创建者过多选择等,后续会有相关论文及更多研究。
关键信息:
- 聚焦于用可解释技术理解和引导模型,发现引导向量效果更好。
- 以 chub 上的角色为例,展示引导向量在精细控制个性(如让 Amalia 更或更不痴迷)、提高创造力(让 Edric 从冷漠变得更有亲和力)、符合原型(让 Amalia 从普通变为病娇)等方面的作用。
- 提到引导的挑战,如应用正负值不当的输出问题及给角色创建者过多选择的问题。
重要细节: - 介绍了社会和浪漫聊天机器人的流行及 Character.ai 的查询量等背景。
- 解释了引导向量是在推理时通过对模型内部表示进行加、减或点积操作来定制模型输出。
- 对比了提示工程在某些情况下的效果及局限性,如让 Amalia 因提示“act obsessive”而变得具有攻击性。
- 说明引导向量训练时的监督学习能捕捉到更多“附带”含义,可用于创建更细微的结果。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。