在大型语言模型之上构建软件

主要观点

  • 5 月 15 日在 PyCon US 举办三小时工作坊,主题为“在大型语言模型之上构建软件”,旨在让参与者学会利用大型语言模型编写代码。
  • 工作坊大部分为互动形式,创建了包含六个不同练习的详细讲义,可在线访问,即便未在场也能跟随学习。
  • 讲义内容涵盖设置(安装配置 LLM 及相关工具)、用 LLM 提示(终端提示及 Python 中使用)、构建文本到 SQL 工具等多个方面。
  • 介绍了当前大型语言模型的现状,包括 OpenAI、Gemini、Anthropic 等的模型特点,以及“开放权重”模型的发展。
  • 强调模型价格变得便宜,同时提及环境影响及提示定价的相关问题。
  • 推荐使用 Codespaces 以避免环境问题,建议多尝试不同模型并记录实验。
  • 讲解了向量嵌入、语义搜索、RAG 等概念及相关技巧,还讨论了 LLM 调用工具及安全问题,如提示注入等,并介绍了对抗提示注入的双 LLM 模式。
  • 最后通过 Ollama 展示了本地模型的演示。

关键信息

重要细节

  • 工作坊内容包括不同模型的设置、提示方法、应用案例(如文本到 SQL 工具、结构化数据提取、语义搜索等)。
  • 介绍了各种模型的特点和价格差异,如 Gemini 1.5 处理 70,000 张图片的成本约 173.25 美分,GPT-4.5 则至少 2,400 美元。
  • 详细说明了提示注入的危害及双 LLM 模式的原理和应用。
  • 展示了利用 Ollama 运行本地模型的演示。
阅读 14
0 条评论