Code Llama 是一系列专注于代码相关任务的大型语言模型,它构建在 Llama 2 的基础上,在开放模型中提供了最先进的性能,它在填充能力、支持大输入上下文以及零指导编程任务的能力方面表现出色。https://gpumall.com/login?type=register&source=sifou
支持的模型种类如下:提示Code Llama 提供多个版本以涵盖各种应用领域,它包括如下模型:基础模型(Code Llama)Python 专业化模型(Code Llama - Python)遵循指导的模型(Code Llama - Instruct)这些模型具有不同的参数,包括 7B、13B 和 34B,以应对不同的使用情境下面介绍如何在 GpuMall 平台使用已集成的 CodeLlama 模型#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现
- 选择 CodeLlama 镜像创建实例
选择完成后创建实例,然后点击 JupyterLab,进入终端。 - 通过内网拉取 CodeLlama 模型执行如下命令拉取可通过内网拉取的 CodeLlama 模型curl -fSLO https://gpumall-static-data-public-prod.oss-cn-shanghai.aliyu... +x downmodel./downmodel 支持如下模型下载,根据您的需要下载对应模型: 1.): 下载 ChatLM3-6B 模型 ./downmodel chatglm3-6b-model 2.): 下载 CodeLlama-7b 模型 ./downmodel codeLlama-7b-model 3.): 下载 CodeLlama-13b 模型 ./downmodel codeLlama-13b-model 4.): 下载 CodeLlama-34b 模型 ./downmodel codeLlama-34b-model 5.): 下载 CodeLlama-7b-Python 模型 ./downmodel codeLlama-7b-python-model 6.): 下载 CodeLlama-13b-Python 模型 ./downmodel codeLlama-13b-python-model 7.): 下载 CodeLlama-34b-Python 模型 ./downmodel codeLlama-34b-python-model 8.): 下载 CodeLlama-7b-Instruct 模型 ./downmodel codeLlama-7b-instruct-model 9.): 下载 CodeLlama-13b-Instruct 模型 ./downmodel codeLlama-13b-instruct-model 10.): 下载 CodeLlama-34b-Instruct 模型 ./downmodel codeLlama-34b-instruct-model脚本输入如上,执行不同命令来下载不同模型,这里下载 codeLlama-7b-model 模型./downmodel codeLlama-7b-model
然后等待模型全部下载完成,通过上述操作拉取的模型会存储在 /gm-data/ 目录下,不建议移动,因为模型可能较大,系统盘空间不足以存储模型。3. 测试 codellama 代码填充#进入 codellama 目录cd /root/codellama/#torchrun --nproc_per_node 1 example_completion.py --ckpt_dir /gm-data/CodeLlama-7b/ --tokenizer_path /gm-data/CodeLlama-7b/tokenizer.model --max_seq_len 128 --max_batch_size 4
输出如上图结果就说明 CodeLlama 已经可以正常使用了。更多使用方法请参考:CodeLlama官方项目如需通过公网访问请参考:自定义服务
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。