本地部署使用 miniCpmV2-6 、chatglm 这些本地 LLM 的时候,如何实现统计 token?
使用智谱的 glm 在线服务的时候,会返回使用的 token:prompt_tokenscompletion_tokenstotal_tokens {代码...} 但是如果我是自己本地部署 chatglm、minicpm、qwen 这些模型,怎么统计 token 呢?示例代码 {代码...} 返回的 res 本身就是字符串了,而不是一个结构化对象这个统计 token 的方式,每个 llm 都一样吗?
1 回答2.7k 阅读
Scala 中的 ArraySeq 可以使用 toArray 方法转换为 Array,然后使用 wrap 方法转换为 ArrayBuffer。示例如下
或者使用 .toArray.wrap 直接转换
这样就可以将 ArraySeq 转换为 ArrayBuffer 了。
注意:如果你使用的是Scala 2.12 或以下的版本,将 ArraySeq 转换为 ArrayBuffer可能会失败,因为 ArraySeq 和 ArrayBuffer 类型并不兼容。