ChatGPT

在多模态模型的架构上，ChatGPT 的绘图能力主要依赖以下几个核心组件：

1. 跨模态编码器（Cross-Modal Encoder）：

   • 跨模态编码器的作用是将文本和图像的特征进行对齐。GPT 可以将用户输入的文本描述转换为文本特征表示，然后利用跨模态编码器将这些特征映射到图像特征空间。这种方式确保模型能够理解描述性语言中不同细节是如何与图像特征对应的。