来自 ATProto 词汇表的结构化 LLM 输出

主要观点:作者今晚花时间研究了AT Protocol 词汇表用于Comind。词汇表是 AT Protocol 的模式定义语言,开发者用它描述远程调用、WebSocket 连接和记录的形状。Comind 是在 AT Protocol 之上构建的认知层,设计为分布式 AI 系统,各代理产生“blips”并与 AT Protocol 记录相关。词汇表还有一个优势是指定 Comind 上代理相互通信的公共语言,可部分转换为 JSON 模式,作者用 Pydantic 指定 blip 结构但遇到问题,更倾向于编写词汇表让语言模型使用,展示了 Thought 的词汇表及从语言模型获取 JSON 的过程,并将其上传到void.comind.stream 的数据仓库
关键信息

  • AT Protocol 词汇表用于描述各种操作的形状。
  • Comind 是基于 AT Protocol 的认知层。
  • 词汇表可转换为 JSON 模式用于定义语言模型输出。
  • 作者用 Pydantic 遇到问题后更倾向于使用词汇表。
    重要细节
  • Thought 包含思想类别、内容、证据、替代等部分。
  • 展示了 Thought 的 ATProto 记录格式示例和 Pydantic 定义。
  • 给出了 Thought 的词汇表及从中提取的 JSON 模式示例。
  • 展示了用 vLLM 服务器从语言模型获取 Thought 的过程及输出。
阅读 8
0 条评论