MindIE+MindFormers推理方案指导

组件介绍

CANN

CANN是什么

异构计算架构CANN（Compute Architecture for Neural Networks）是昇腾针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速构建基于昇腾平台的AI应用和业务。

总体架构

MindIE

MindIE是什么

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。

总体架构

MindFormers

MindFormers是什么

MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

总体架构

版本配套与安装指导

版本配套关系

MindIE	MindFormers	MindSpore	CANN	固件与驱动	镜像链接
1.0.RC3	1.3.0	2.4.0	8.0.RC3.beta1	24.1.RC3	link
1.0.RC2	1.2.0	2.3.0	8.0.RC2.beta1	24.1.RC2	link

安装指导

• MindIE安装指南（包括了固件与驱动、CANN、MindIE、pytorch等基础依赖的安装）：1.0.RC3安装、1.0.RC2安装
• MindFormers安装指南（包括了MindFormers、MindSpore的安装）：link

使用指导

参考指导：link

• 环境搭建
  1)参考上面的<span style="color:rgb(244,80,30)">安装指导</span>完成软件安装
  2)环境变量设置

  # Ascend
  source /usr/local/Ascend/ascend-toolkit/set_env.sh
  # MindIE
  source /usr/local/Ascend/mindie/latest/mindie-llm/set_env.sh
  source /usr/local/Ascend/mindie/latest/mindie-service/set_env.sh
  # MindSpore
  export LCAL_IF_PORT=8129
  # 组网配置
  export MS_SCHED_HOST=127.0.0.1     # scheduler节点ip地址
  export MS_SCHED_PORT=8090          # scheduler节点服务端口
  

• 权重转换
  参考指导：link

以Qwen1.5-72B为例

# 以1.3.0版本为例

# 1.拉取MindFormers代码仓
git clone -b r1.3.0 https://gitee.com/mindspore/mindformers.git

# 2.执行权重转换
cd mindformers
# 以Qwen1.5-72B为例, input_path: 指的是从HuggingFace下载的权重目录；output_path: 转换成ms权重的存放路径
python convert_weight.py --model qwen --input_path /data/models/qwen1.5-72B/ --output_path /home/user/ms_weights/qwen1_5_72b/qwen1_5_72B.ckpt

转换后的模型权重目录结构如下：

mf_model
 └── qwen1_5_72b
        ├── config.json                 # 模型json配置文件
        ├── vocab.json                  # 模型vocab文件，hf上对应模型下载
        ├── merges.txt                  # 模型merges文件，hf上对应模型下载
        ├── predict_qwen1_5_72b.yaml    # 模型yaml配置文件, 从mindformers仓中research目录下找到
        ├── qwen1_5_tokenizer.py        # 模型tokenizer文件，从mindformers仓中research目录下找到对应模型复制
        └── qwen1_5_72b_ckpt_dir        # 模型分布式权重文件夹或单个权重文件

predict_qwen1_5_72b.yaml获取：mindformers/research/qwen1_5/predict_qwen1_5_72b.yaml
qwen1_5_tokenizer.py获取：mindformers/research/qwen1_5/qwen1_5_tokenizer.py

predict_qwen1_5_72b.yaml需要关注以下配置, 注释的地方根据实际情况修改：

load_checkpoint: '/mf_model/qwen1_5_72b/qwen1_5_72b_ckpt_dir' # 为存放模型分布式权重文件夹路径
use_parallel: True
auto_trans_ckpt: False    # 是否开启自动权重转换，离线切分设置为False
parallel_config:
  data_parallel: 1
  model_parallel: 4       # 多卡推理配置模型切分，一般与使用卡数一致
  pipeline_parallel: 1
processor:
  tokenizer:
    vocab_file: "/mf_model/qwen1_5_72b/vocab.json"  # vocab文件路径
    merges_file: "/mf_model/qwen1_5_72b/merges.txt"  # merges文件路径

• 推理服务化部署
  1) 修改MindIE Service配置文件

  # 1.打开mindie service配置文件
  vim /usr/local/Ascend/mindie/1.0.RC3/mindie-service/conf/config.json
  # 2.修改backendType、modelWeightPath配置项
  "backendType": "ms"
  "modelWeightPath": "/mf_model/qwen1_5_72b"

  2) 启动服务

  cd /usr/local/Ascend/mindie/1.0.RC3/mindie-service
  nohup ./bin/mindieservice_daemon > output.log 2>&1 &
  tail -f output.log
  
  # 打印如下信息，启动成功
  Daemon start success!

• 请求测试
  服务启动成功后，可使用curl命令发送请求验证，样例如下：

  curl -w "\ntime_total=%{time_total}\n" -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"inputs": "I love Beijing, because","stream": false}' http://127.0.0.1:1025/generate

  返回推理结果验证成功：

  {"generated_text":" it is a city with a long history and rich culture....."}