目前，大模型的发展已经非常火热，关于大模型的训练、微调也是各个公司重点关注方向。但是大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。

1. SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。

来自斯坦福大学的最新研究结论，一经发出就造成了学术圈的轰动，“原本认为是人类独有的心智理论（Theory of Mind，ToM），已经出现在ChatGPT背后的AI模型上”。所谓心智理论，就是理解他人或自己心理状态的能力，包括同理心、情绪、意图等。这项研究中，作者发现：davinci-002版本的GPT3已经可以解决70%的心智理论任务，...

支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNX Runtime和OpenVino。

一.前言近期， ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性：①. 基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6；②. 支持8K-32k的上下文；③. 推理性能提升了42%；④. 对学术研究完全开放，允许申请商用授权。目前大多数部署方案采用的是fastapi+uvicorn+transformers，这种方式...

随着大数据时代的到来，数据分析已经成为企业和组织的核心竞争力。然而，传统的数据分析方法往往无法满足日益增长的数据分析需求的数量和复杂性。在这种背景下，ChatGPT-4作为一种先进的自然语言处理技术，为数据分析带来了革命性的提升，助力企业和组织更高效地挖掘数据价值。本文将探讨ChatGPT-4在数据分析中的应用，...

本篇文章主要介绍在实际的开发过程当中，如何使用GPT帮助开发，优化流程，恰逢今年京东20周年庆，文末会介绍如何与618大促实际的业务相结合，来提升应用价值。全是干货，且本文所有代码和脚本都是利用GPT生成的，请放心食用。

6月13日OpenAI在Chat Completions API中添加了新的函数调用（Function Calling）能力，帮助开发者通过API方式实现类似于ChatGPT插件的数据交互能力。

本篇文章中我们将对机器学习做全面的了解与介绍，其中第一章 初识机器学习分为上下两个小章节，对机器学习是什么、机器学习由来以及机器学习的理论等展开说明。目的是能让即便完全没接触过机器学习的人也能在短时间对机器学习有一个全面了解。后续将推出机器学习的进阶内容，包括经典基础篇（线性模型、决策树、集成学习...

GPT-4已经发布有一段时间了，但是出于安全性等各种原因，OpenAI并没有公布GPT-4的技术细节和代码，而是仅仅给出了一个长达100页的技术报告[1]。

总体感觉其实并不是特别理想，原始Alpaca-lora模型对中文支持并不好，用52k的中文指令集对模型进行fine-tuning之后，效果依然达不到网上说的媲美GPT-3.5的推理效果，验证了那句话：“事不目见耳闻，而臆断其有无，可乎？”

不知道大家在平时的工作中有没有听说过“图计算”这个名词但大家一定在各工作汇报，技术分享中听说过“智能化”，“人工智能”这样的字眼而我们今天要唠的这个图计算就是人工智能领域内近几年炙手可热的前沿宠儿也是我们风控反欺诈中常用的“大杀器”在了解图计算之前首先得了解什么是“图”我们今天所说的图其实是用于表示对象之...

人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个流派，分别是生成对抗网络（Generative Adversarial Models，GAN），变分自编码器（Variance Auto-Encoder，VAE），标准化流模型（Normalization Flow， NF）以及这里要介绍的扩散模型（Diffusion Models，DM）。...

我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。有学者研究发现，这是因为 Bert 词向量存在各向异性（不同方向表现出的特征不一致），高频词分布在狭小的区域，靠近原点，低频词训练不充分，分布相对稀疏，远离原点...

谷歌大脑的五位深度学习大佬在 “Chinese New Year” 期间合作推出了《深度学习调参手册》，来为各位深度学习爱好者恭贺新年（我猜的），一时间好评如潮，获星过万，看来大家都是苦调参久已。难道依靠经验的调参变得“可解释”了？显然不是，而是大佬们分享自己的调参经验，内容还是挺多的，下面咱们去粗取精，希望能够获得...

•新成员加入团队，对系统现有的架构决策可能会盲目遵守，只知其然，不知其所以然；或者挑战或违反约束，持续挑战当前决策，“质疑”决策的合理性和正确性，负责人需要不间断的解释、同步、推动达成共识

TensorFlow计算图是由op和tensor组成，那么tensor一般都用来代表什么呢？显然，像模型的输入数据、网络权重、输入数据经op处理后的输出结果都需要用张量或特殊张量进行表达。既然tensor在TensorFlow体系架构中如此重要，因此本文将带领大家由浅入深地学习tensor的三个话题：用户眼中的tensor、TensorFlow系统中的tensor...

中国大学生计算机设计大赛是我国高校面向本科生最早的赛事之一，自2008年开赛至2019年，一直由教育部高校与计算机相关教指委等或独立或联合主办。大赛的目的是以赛促学、以赛促教、以赛促创，为国家培养德智体美劳全面发展的创新型、复合型、应用型人才服务。

日前，京东探索研究院联合悉尼大学提出了更大规模、更优效果、对各类视觉任务具有更好适应性的超级深度学习模型ViTAEv2。值得提及的是，具有6亿参数的ViTAEv2模型在不依赖任何外源数据的情况下，斩获了ImageNet Real数据集分类准确度“世界排名第一”的突出成绩，精准高达91.2%，成功刷新图片分类技术领域的世界级纪录。

什么是人脸关键点定位？ 人脸关键点定位也称为人脸关键点检测，是指给定人脸图像，定位出人脸面部的一些关键位置，包括人脸轮廓及五官等。是 3D 人脸重建、表情迁移、特效相机等应用的核心基础技术。

随着互联网业务的不断发展，很多机构都积累了海量的线上数据，充分利用这些数据，进行相关的数据分析、特征挖掘、算法建模是各机构重点发展的方向。然而在大多数行业与企业中，数据是以孤岛形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间实现数据整合也面临着重重阻力，在...

数字化时代，数据库对任何企业而言都是其应用的核心资源。MySQL作为当前最流行的关系型数据库，虽然是开源软件，但是其简单易懂、易于部署管理，且具有ACID特性、强大的SQL查询等特点，被各种业务系统作为关键的核心存储。

“天赋论学说认为，人类思维是与生俱来的思想或知识。在这种理念中，最著名的是柏拉图的形式理论，以及后来的笛卡尔的《沉思录》。目前，这一观点正在获取神经科学方面的证据，以证实我们确实生来就对我们的世界有先天的认识”。