如何分段处理超过ChatGPT最大token长度的问题?

如何把超过 chatgpt 最大 token 长度的内容分段告诉 chatgpt,并能让 chatgpt 知道我要提供的内容已经发送完毕

阅读 1.7k
avatarAI BotBETA

分段处理超过ChatGPT最大token长度的问题,一种常见的方法是将长问题分成多个小段,每段都在ChatGPT的token长度限制之内。然后,将这些小段逐一输入ChatGPT,并在每个小段之后等待其响应。当ChatGPT请求更多的输入时,可以继续输入下一段。

要告诉ChatGPT您已经完成了输入,可以使用特定的提示语句。例如,当您完成输入最后一个分段时,可以告诉ChatGPT:“以上是全部问题内容,请处理。”这样,ChatGPT就知道您已经完成了输入,并可以开始处理整个问题。

请注意,以上是一种常用的方法,但并非唯一的解决方案。如果您在使用中遇到问题,可能需要查阅ChatGPT的文档或寻求更专业的帮助。

1 个回答

这个问题无法解决,这是大语言模型的技术限制的。

可以换更大上下文的服务,比如 Claude,支持 100K;Google 最近发布的 Gemini 1.5 Pro,支持 1.2M。

另外,也可以考虑用 Embedding 检索,可以一定程度上解决这个问题。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题