Transformer推理过程中token输出不一致如何处理？

Question

使用Transformer进行推理时，假设正确推理输出是“我爱中国”，在第一次推理时，decoder的输入是“<SOS>”，decoder的输出是“我”，在第二次推理时，decoder的输入是“<SOS>我”，decoder的输出是“我爱”，在第三次推理时，decoder的输入是“<SOS>我爱”，decoder的输出应该是“我爱中”。会不会出现一种可能，在第二次推理时，decoder的输出是“我爱”，但在第三次推理时，却输出了“我喜中”这种情况？此时在第四次推理时，decoder的输入是“<SOS>我喜中”。使用gpt的时候，gpt在进行回答的时候，单词是一个接一个出现的，如果是每推理一次，就将推理出的下一个token输出出来，那如果发生上述这种情况，该如何进行处理？因为前面推理的token已经发送给用户了，不能进行修改了。还是说，其实gpt是在后台已经将所有的token已经全部都推理出了，向用户展示的时候，只是做了一个动画，看起来是在实时生成的？