主要观点：初创企业、企业和个人都希望将聊天机器人纳入系统，理解如何设计和测试以使其有效很重要；需先确定用例，再设计聊天机器人，包括选择合适模型、添加上下文、调整参数等；对于多用途聊天机器人，可采用“意图优先”流程或相似性测试；测试聊天机器人时要制定黄金标准数据集，进行多种测试指标评估，部署后也需持续测试改进。
关键信息：

• 用例分为确定性、创造性和混合模型，不同模型适用于不同任务。
• 选择合适模型要考虑并发量、延迟、复杂度和成本等因素。
• 添加上下文可避免幻觉，RAG 和 MCP 是常用方法。
• 调整参数如温度、Top-p、频率和存在惩罚、最大令牌数等可影响聊天机器人效果。
• 多用途聊天机器人可采用“意图优先”流程或相似性测试。
• 测试包括制定黄金标准数据集，进行精度、召回率、准确率、延迟等测试指标评估。
  重要细节：
• 确定性用例适合决策树或规则引擎，创造性用例适合大语言模型，多数用例为混合模式。
• 温度高时输出更随机，温度低时更确定；Top-p 低值结果更受限，高值更具创造性。
• 频率和存在惩罚需平衡多样性和连贯性；最大令牌数影响响应长度和成本。
• 测试时要关注 P50、P90、P99 等延迟指标，以及接地分数和合规性测试。
• 部署后要持续测试和改进聊天机器人以适应变化和期望。