chatgpt 是如何实现“继续生成”功能的？

Question

chatgpt 是如何实现“继续生成”功能的

我用 chatgpt 翻译文档，当内容过多的时候，chatgpt 一次无法全部返回，会出现“继续生成”按钮，点击后会接着上一句继续生成。我使用其他的大语言模型就没有这种功能，想知道他们是怎么实现的？

Answer 1

首先chatgpt无法一次性输出是因为openai对其进行了限制 一次只能输出1024字节 防止攻击者的非法攻击
所以chatgpt继续生成无非是分成多次返回值

需要注意的是 gpt这样的大模型是实时生成，有反馈机制，每一个字的生成都会依赖前面的字（所以我们可以看到gpt的回答是一个字一个字吐出来的），所以继续生成也没有用到什么别的高科技，无非是openai开放了这个功能。