使用 Deepseek 推理进行文本聚类

主要观点:探索 LLM 中的推理世界,利用 DeepSeek 工具为机器学习系统添加解释或推理方面,使终端用户更有信心和信任;默认机器学习模型是黑箱,需添加解释,通过构建自定义嵌入和嵌入函数等步骤来实现;分享在测试数据集不同场景下的结果,包括答案不匹配、匹配等情况,以及 DeepSeek 模型的推理过程;结论强调推理的力量能让我们了解模型功能、优缺点,提升对系统的理解和改进。

关键信息:

  • 利用 langchain 和 langchain_chroma 等库进行文本嵌入和创建向量数据存储。
  • 定义函数创建语义相似性选择器,生成新闻文章的嵌入。
  • 调用 DeepSeek REST 端点并传递相关信息进行推理,解释模型结果。
  • 分享不同场景下模型和实际答案的对比及 DeepSeek 的推理过程。

重要细节:

  • 数据集为新闻文章数据集,可从 Kaggle 下载,使用short_description进行向量嵌入和分配标签,无需预处理。
  • 自定义嵌入函数MyEmbeddings可查询本地或远程实例的模型嵌入,需添加安全机制。
  • 在不同场景的推理中,如答案不匹配时,分析模型可能的考虑因素;答案匹配时,解释与新闻室等媒体相关的联系。
阅读 9
0 条评论