GPT-4于2023年3月发布，拥有1万亿参数，是目前最大的机器学习模型之一。LLMs（大语言模型）基于Transformer架构，采用自注意力机制，能生成类人文本响应。BERT和GPT是LLMs的代表模型，GPT-4已发展至第4代。LLMs训练成本高，企业通常依赖第三方服务。LangChain工具包帮助开发者通过API调用LLMs。LLMOps作为MLOps的子领域，面临模型管理、性能监控等挑战。LLMs的应用需结合领域特定模型，未来LLMOps将推动更多创新。