玩转大模型（一）环境配置

写在最前面

这个系列的文章，大约会有8到10篇吧，现在已经写完了6篇了，分开来发吧，据说分开发流量会大一些。

自从前年年底大模型出来了以后，就想着搞一台台式机来学习学习大模型和机器学习，免得落伍太多了，看配置，看B站视频，选配置，看二手显卡，一手显卡，对比显存，仿佛又到了大学时期那个攒机器的时代，这么过去了几个月，一直没有下手，感觉这里面水实在是太深了，二手的不敢随便买，太便宜的怕遇到矿卡，太贵的又觉得有点亏，一手的新的又没有价格合适的显存又大的，就算有也基本上是缺货状态，得碰运气抢，本来预算大概是2万到3万左右，看了半年没看到什么合适的，如果直接买高配的品牌配置好的游戏主机吧，一般显存也不太够，而且也怕买回来以后沉迷到游戏里面去，加上自己本身也过了那个喜欢折腾的年龄了，就想安逸的搞个机器玩玩，于是就这么一直拖下来了。

后来，苹果开发布会了，看完苹果的产品发布会以后，Mac Studio给了我很深的印象，显存内存一体式的架构，这不轻松让显存达到100GB级别，一个100GB的显卡就搞定了么，网上一查，主流的机器学习库（torch，tf）也已经适配Mac的Metal架构和M系列芯片了，可以使用Mac的GPU加速能力，那这Mac Studio不就是专门搞大模型的了么，也玩不了什么游戏，于是想也没想，斥巨资搞了一台Mac Studio来“学习”了，是真学习。

经过我粗糙的计算：一个192GB的mac studio大概四万元，相当近200来GB的显存，你要买个200GB显存的nv显卡机器，配个六块3090或者4090也不够吧，在配个好点的其他配置，怎么也要个六七万吧，而且功率贼高，声音贼大，而同样价格的mac，功率200多W，还要怎样，就算速度慢十倍又如何，个人用，大部分时间是用来在本地模型上做推理的应用开发，开发一些好玩的东西，最多最多就用来微调微调模型，足够了，你还指望靠这个训练一个自己的大模型啊？使用Mac Studio可以在不使用量化的情况下，直接载入满血版的llama模型，试问消费显卡得配几张才做得到？而且我相信后面机器学习库对mac的适配性肯定会越来越好，真的万万没想到，苹果有一天也会和性价比沾上边。

机器到手以后，第一时间开机，熟悉的界面，熟悉的操作，首先得把环境配置好。

基础软件安装

FQ软件安装

DDDD，这里就不详细说了。

浏览器

Edge，没什么好说的，自从用了这个以后，就再也没有打开过chrome了。

输入法

一直使用搜狗输入法，其他的也没用过

brew

brew安装的话，由于大家都懂的原因，可以选择国内的源进行安装，虽然之前已经翻墙了，但毕竟国内的源速度更快，这里推荐清华的源和中科大的源，后来发现，也可以使用阿里云的源，这个源我感觉比大学的源同步得更新一些，而且比较稳定，可以按照以下步骤进行安装，非常简单

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

安装完成以后就可以使用brew安装各种各样的软件了

iTerms/Zsh

iTerms和zsh是mac下最重要的终端工具，在安装完了brew以后，可以直接使用brew安装这两个软件，具体的配置，网上到处都是，就不在这里浪费笔墨了。

brew install iterms2
brew install zsh

现在也可以使用WARP这个软件，主打一个不用折腾。

笔记软件

这个也没什么好说的，我一直都是用的语雀，yuque.com可以直接安装对应的版本。前几天还撸了个半年的会员。

开发工具

这个就是VSCODE了，各种插件根据个人喜好安装吧，另外，我买了一个Copilot，就一个字，好用不亏。

LLM基础软件安装

在安装深度学习软件之前，会涉及到各种各样的平台，各种各样的软件，我们首先需要了解一些概念：
先要确定你的机器硬件是不是可以做这个事情，当然，纯CPU运算也可以做机器学习，只是很慢而已，所以硬件上大致分为三类：

• 纯CPU：大部分笔记本和没有nv显卡或者显卡不行的都属于这一类，那么计算的时候就只能使用CPU资源了，会非常慢
• 显卡机器：顾名思义，就是有3090或者更好显卡的机器了，关键是显存要大，这种你就可以使用cuda框架，利用你的显卡进行计算了，会比CPU的快很多。
• Apple的M芯片机器：也就是苹果的M系列芯片的机器，他的内存和显存是一体化的，并且有自己的GPU，流行的机器学习框架如torch也是支持苹果芯片的，我的Mac Studio就属于这一类。当然，M芯片的macbook和mac mini也属于这种，只是内存小一些。

除此之外，软件部分也有一些需要提前了解的，就目前来说，有几个软件是必装的，如conda,python,torch,transformers,jupyter，这些我在下面一一介绍一下

conda

首先安装的是conda，conda你可以简单理解为一个包管理软件，并且我们只需要安装miniconda就可以了，不需要安装完整版本。在这里选择一个你需要的版本直接安装就可以了，我选的Apple M1芯片的。

安装的过程比较简单，直接按照步骤执行就可以了。安装完成以后就可以使用conda命令安装python等其他软件包了，注意，在这里先不要安装torch，我们要根据自己的情况来安装对应版本的torch，不然的话没办法使用上apple的gpu资源。

配置环境

conda有个比较好的功能就是新建一个环境，这个环境是一个独立的环境，每个环境中可以有他自己的torch，python等软件的版本，方便在各个环境下使用不用的软件

conda create env_name 新建一个env环境
conda activate env_name 切换到env环境

jupyter

安装完conda以后，顺手也可以通过conda把jupyter给安装掉，安装notebook或者lab都可以，lab更强大一些，但是notebook也完全够用了。

conda install jupyter lab

安装好了以后，使用jupyter lab命令或者jupyter notebook命令启动，启动完成以后就可以正常使用了。
jupyter这里多说一句，自从用了vscode以后，jupyter的网页版再也没有打开过来，只需要在vscode上安装好python插件就行了，直接可以新建出jupyter的文件，然后和网页版的jupyter的使用方式一模一样，没必要再去折腾notebook的网页版了。而且在vscode的jupyter里面还可以用Github Copilot，方便很多。

torch

打开torch的官网，找到你对应的版本，使用pip3或者conda安装即可，写这篇文章的时候，pytorch正式版还没有支持apple的m芯片，但是现在的2.3.0已经支持了，所以直接安装就行

在命令行运行最下面的这个命令即可

pip3 install torch torchvision torchaudio

在发布这篇文章的时候，torch官网已经更新了torch的2.3.0正式版，2.3.0正式版也已经支持M芯片了。
这样你的torch就是对应正常版本了，你可以通过一下方式来确认：

import torch
torch.device('mps')

自此，必要的软件就正确安装完了，现在开始就可以开心的玩大模型了。

其他库的安装

其他库的安装就是一个按需安装的过程了，你可以通过conda也可以通过pip3安装，都差不多，我一般习惯使用pip3安装，conda仅仅用来进行环境的一些设置。

接下来，在后面的章节中，我们要开始真正的大模型之旅了。

---

如果你觉得不错，欢迎转发给更多人看到，也欢迎关注我的公众号，主要聊聊搜索，推荐，广告技术，还有瞎扯。。文章会在这里首先发出来：）扫描或者搜索微信号XJJ267或者搜索西加加语言就行