本地部署使用 miniCpmV2-6 、chatglm 这些本地 LLM 的时候,如何实现统计 token?
使用智谱的 glm 在线服务的时候,会返回使用的 token:prompt_tokenscompletion_tokenstotal_tokens {代码...} 但是如果我是自己本地部署 chatglm、minicpm、qwen 这些模型,怎么统计 token 呢?示例代码 {代码...} 返回的 res 本身就是字符串了,而不是一个结构化对象这个统计 token 的方式,每个 llm 都一样吗?
1 回答2.7k 阅读
能想到的场景或接触到的场景如下。
用户分类运营。一般情况下,运营给的分类标准比较多,比如RFM模型中就有三个变量,如果穷举所有变量为0,1也有8种。在一些线下或者个性化要求不高的场景中,聚类就是一个很好的策略,可以根据运营能接受的运营数目,给定聚类数来使用聚类。完成后为每个结果标注变量的大小,告诉运营每个类别的属性,然后分别制定不同的运营策略。
异常检测。这个往往在数据清洗中,可以排除掉一些典型有问题的数据;另外,此原理也可以用来发现异常用户(反盗刷、反爬虫)。
部分程度上说,聚类可以用来降维。这个没实践过,但理论上是一个可以实现的降维策略。