大模型语言【官方教程】

​ Code Llama 是一系列专注于代码相关任务的大型语言模型，它构建在 Llama 2 的基础上，在开放模型中提供了最先进的性能，它在填充能力、支持大输入上下文以及零指导编程任务的能力方面表现出色。

体验：GpuMall智算云

支持的模型种类如下：

提示

Code Llama 提供多个版本以涵盖各种应用领域，它包括如下模型：

基础模型（Code Llama）
Python 专业化模型（Code Llama - Python）
遵循指导的模型（Code Llama - Instruct）

这些模型具有不同的参数，包括 7B、13B 和 34B，以应对不同的使用情境

下面介绍如何在 GpuMall 平台使用已集成的 CodeLlama 模型

1. 选择 CodeLlama 镜像创建实例​

​

编辑

选择完成后创建实例，然后点击 JupyterLab，进入终端。

​

编辑

2. 通过内网拉取 CodeLlama 模型​

执行如下命令拉取可通过内网拉取的 CodeLlama 模型

curl -fSLO https://gpumall-static-data-public-prod.oss-cn-shanghai.aliyu...
chmod +x downmodel
./downmodel

      支持如下模型下载，根据您的需要下载对应模型:
            1.): 下载 ChatLM3-6B 模型
            ./downmodel chatglm3-6b-model

            2.): 下载 CodeLlama-7b 模型
            ./downmodel codeLlama-7b-model

            3.): 下载 CodeLlama-13b 模型
            ./downmodel codeLlama-13b-model

            4.): 下载 CodeLlama-34b 模型
            ./downmodel codeLlama-34b-model

            5.): 下载 CodeLlama-7b-Python 模型
            ./downmodel codeLlama-7b-python-model

            6.): 下载 CodeLlama-13b-Python 模型
            ./downmodel codeLlama-13b-python-model

            7.): 下载 CodeLlama-34b-Python 模型
            ./downmodel codeLlama-34b-python-model

            8.): 下载 CodeLlama-7b-Instruct 模型
            ./downmodel codeLlama-7b-instruct-model

            9.): 下载 CodeLlama-13b-Instruct 模型
            ./downmodel codeLlama-13b-instruct-model

            10.): 下载 CodeLlama-34b-Instruct 模型
            ./downmodel codeLlama-34b-instruct-model

脚本输入如上，执行不同命令来下载不同模型，这里下载 codeLlama-7b-model 模型

./downmodel codeLlama-7b-model

​

编辑

然后等待模型全部下载完成，通过上述操作拉取的模型会存储在 /gm-data/ 目录下，不建议移动，因为模型可能较大，系统盘空间不足以存储模型。

3. 测试 codellama 代码填充​

进入 codellama 目录

cd /root/codellama/

torchrun --nproc_per_node 1 example_completion.py \
--ckpt_dir /gm-data/CodeLlama-7b/ \
--tokenizer_path /gm-data/CodeLlama-7b/tokenizer.model \
--max_seq_len 128 --max_batch_size 4

​

编辑

输出如上图结果就说明 CodeLlama 已经可以正常使用了。

更多使用方法请参考：CodeLlama官方项目

如需通过公网访问请参考：自定义服务
​