主要观点：各公司都在寻求利用大语言模型获益，作者过去一年直接研究其在现有产品中的应用并记录笔记，笔记包含多个要点，如重建思维模型、改进工作流程、检索增强生成（RAG）、创新速度、人机循环（HITL）、幻觉与法律责任、“从 0 到 1”与“从 1 到 N”、版权法、数据处理协议、提供商可用性等。
关键信息：

• 思维模型：LLM 能预测合理响应但不知其准确性，可通过评估估计准确性，大模型更准确但成本高、延迟大，模型准确性随语料库增长而提高，LLM 速度仍需提升，B2B 和 C 端使用 LLM 的成本差异。
• 工作流程：多数现代软件工作流程未最大化 LLM 效益，需重新思考，调整后用户和内部团队体验都能改善。
• RAG：利用固定 token 窗口处理大型数据集，有效但需高质量检索和过滤机制，避免将其视为搜索问题的唯一解决方案。
• 创新速度：模型性能会继续提升但不会一直保持高速，技术突破和模型规模增大是推动创新的因素，未来发展难以确定。
• HITL：因 LLM 可能出错需人工验证响应，多数产品会结合多种技术确定内部审查时机。
• 幻觉与法律责任：LLM 常生成错误响应，HITL 可转移责任，早期创业者梦想无需 HITL 的世界，但仅在特定场景可行。
• “从 0 到 1”与“从 1 到 N”：LLM 可快速实现“从 0 到 1”，但在“从 1 到 N”的软件运营和进化方面效果不佳。
• 版权法：版权影响尚不明朗，未来可能出现法律分化，长期来看 LLM 会被视为基本技术组件。
• 数据处理协议：客户对 LLM 提供商敏感，添加到数据处理协议中会有摩擦，依赖现有云供应商的 LLM 功能可避免。
• 提供商可用性：LLM 托管已与其他云服务类似，直接通过云提供商获取 LLM 可能是更好的选择。

重要细节：

• 如在抵押贷款提供商软件的例子中，调整工作流程可增加 LLM 的价值。
• RAG 中通过筛选和组合用户回答来处理大型数据集。
• 创新速度受技术突破和模型规模等因素影响，未来难以预测。
• HITL 可让人工验证 LLM 响应，多数产品会结合多种技术。
• 版权法方面存在法律分歧和不确定性。
• 数据处理协议中客户对 LLM 提供商的敏感及解决方式。
• 提供商可用性上，LLM 托管已与其他云服务相近，直接获取更优。