大型语言模型可以使用 LLM 0.26 在你的终端中运行工具。

2025 年 5 月 27 日,LLM 0.26 版本发布,具有自项目开始以来的最大新功能:支持工具。现在可以使用 LLM CLI 工具和 Python 库,为 OpenAI、Anthropic、Gemini 和本地 Ollama 模型提供访问任何可表示为 Python 函数的工具的权限。

  • 可运行工具:可以从插件安装工具并通过--tool/-T 工具名称按名称加载它们,也可以通过--functions选项在命令行上传递 Python 函数代码,Python API 也支持工具,工具在异步和同步上下文中都能工作。
  • 尝试使用:先安装或升级最新的 LLM,为 OpenAI 设置 API 密钥,然后可以运行各种工具,如llm --tool llm_version "What version?" --td,还可以尝试其他模型和插件的工具。
  • 来自插件的更有趣工具:如llm-tools-simpleeval插件提供简单表达式支持,llm-tools-quickjs提供访问沙盒化的 QuickJS JavaScript 解释器,llm-tools-sqlite提供对本地 SQLite 数据库的只读 SQL 查询访问,llm-tools-datasette可对远程 Datasette 实例运行 SQL 查询。
  • 使用--functions的临时命令行工具:可以通过--functions选项将直接的 Python 代码块传递给 CLI 工具,使其作为工具可用,例如添加搜索博客的功能。
  • LLM Python API 中的工具:LLM 既是 CLI 工具也是 Python 库,LLM Python 库在 0.26 版本中增加了工具支持,model.chain()方法可处理工具调用和结果,还支持asyncioToolbox形式的工具。
  • 为何花费如此长时间:作者跟踪llm-tool-use已有一段时间,看到 ReAcT 论文中的技巧后构建了简单实现,意识到工具使用是扩展语言模型能力的最有效方式,各模型供应商都已支持,本地运行的模型也在不断改进,最终确定实现此功能。
  • 这是代理吗:作者不喜欢使用“代理”一词,但在 LLM 世界中似乎正在趋向于“工具循环”,LLM 0.26 是构建“代理”的好方法。
  • LLM 中工具的下一步:已有 LLM tools v2 里程碑,主要围绕改进工具执行日志显示,还需在更多模型插件中添加工具支持,Model Context Protocol 支持也在议程上,希望 LLM 能作为 MCP 客户端访问更多工具,感兴趣可在 Discord 交流。
阅读 9
0 条评论