主要观点：作者的初创公司 Truss 在过去六个月发布了一些基于大语言模型（LLM）的功能，分享了在处理约 5 亿个令牌过程中的经验教训。
关键信息：

• 使用 OpenAI 模型，85%为 GPT-4，15%为 GPT-3.5，仅处理文本，有 B2B 用例。
• 教训 1：提示中少即是多，未明确列举指令有时能得到更好结果，GPT 会因过度指定而困惑。
• 教训 2：不需要 langchain 等，仅使用 chat API 就可满足需求，通过 40 行函数处理提取 JSON 等操作。
• 教训 3：利用流式 API 展示用户可变速度输入字符是 ChatGPT 的重大用户体验创新。
• 教训 4：GPT 不擅长产生空假设，在处理空输入等情况时容易出错。
• 教训 5：“上下文窗口”说法有误，输入窗口大但输出窗口仅 4k，且输出数量有限。
• 教训 6：向量数据库和 RAG/嵌入对普通用户大多无用，更适合搜索。
• 教训 7：幻觉基本不会发生，在特定用例下很可靠。
  重要细节：
• 举例说明在分类文本所属州时，从指定列表到简单字符串搜索的转变及效果。
• 介绍函数中关于处理 OpenAI API 错误和自动截断的逻辑。
• 提及 GPT 在处理空输入时的幻觉问题及解决方法。
• 探讨 GPT-5 的预期及相关经济因素。