chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队
2023-08-16
阅读 21 分钟
993一.前言近期, ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布,引入了如下新特性:①. 基座模型升级,性能更强大,在中文C-Eval榜单中,以51.7分位列第6;②. 支持8K-32k的上下文;③. 推理性能提升了42%;④. 对学术研究完全开放,允许申请商用授权。目前大多数部署方案采用的是fastapi+uvicorn+transformers,这种方式...