本地部署使用 miniCpmV2-6 、chatglm 这些本地 LLM 的时候,如何实现统计 token?
使用智谱的 glm 在线服务的时候,会返回使用的 token:prompt_tokenscompletion_tokenstotal_tokens {代码...} 但是如果我是自己本地部署 chatglm、minicpm、qwen 这些模型,怎么统计 token 呢?示例代码 {代码...} 返回的 res 本身就是字符串了,而不是一个结构化对象这个统计 token 的方式,每个 llm 都一样吗?
1 回答2.8k 阅读
假设计算9除以2的模2运算,即
9 mod 2
。首先将被除数9和除数2写在一起,从左到右依次计算
第一位:被除数的最高位是1,除数的最高位是0。商的当前位为1,并将被除数和除数都向右移动一位:
第二位:被除数的当前位是0,除数的当前位是0。商的当前位为0,并将被除数和除数都向右移动一位:
第三位:被除数的当前位是0,除数的当前位是1。商的当前位为1,并将被除数和除数都向右移动一位:
第四位:被除数的当前位是1,除数的当前位是0。商的当前位为1,并将被除数和除数都向右移动一位:
9 Mod 2 = 0