在 LLM 0.24 中使用片段和模板插件的长上下文支持

2025 年 4 月 7 日,LLM 0.24 版本发布,具有以下新功能:

  • 尝试使用:可通过uv tool install llm安装,需提供 OpenAI API 密钥或安装插件使用本地或其他提供商的模型,如llm keys set openai,升级可使用llm install -U llm。新功能片段(fragments)可通过-f filename-f url添加到提示中,如llm -f https://simonwillison.net/2025/Apr/5/llama-4-notes/ 'bullet point summary',插件可实现自定义片段加载器,示例有llm install llm-fragments-github
  • 改进对长上下文模型的支持:过去 18 个月,长上下文是 LLM 的重要趋势,如 Llama 4 Scout 有 1000 万令牌上下文,Google Gemini 有 100 - 200 万令牌模型。LLM 可记录每个提示和响应到 SQLite 数据库,新的片段功能可解决长上下文提示导致的数据库存储问题,每个片段仅存储一次并去重。
  • 询问 LLM 文档的问题:新的llm-docs插件可让 LLM 回答关于自身文档的问题,如llm install llm-docsllm -f docs: "How do I embed a binary file?",还可使用不同模型,如llm -f docs:datasette -m gemini-2.0-flash 'Build a render_cell plugin that detects and renders markdown'
  • 发布、共享和重用模板:新的register_template_loaders()插件钩子允许插件注册自定义模板加载器,如llm-templates-githubllm-templates-fabric,可通过 GitHub 仓库共享和使用模板。
  • LLM 0.24 的其他内容:涵盖 51 次提交,新的llm-openai 插件支持 o1-pro,llm -t $URL可接受 YAML 模板 URL,模板可存储默认模型选项和附件,新增llm models options命令设置默认模型选项,llm prompt -d path-to-sqlite.db可将日志写入自定义 SQLite 数据库,llm similar -p/--plain提供更易读输出,可设置LLM_RAISE_ERRORS=1环境变量在提示时抛出错误,llm prompt -q gpt -q 4o可通过搜索词执行提示,OpenAI 兼容模型支持更多选项。
阅读 17
0 条评论