OpenAI服务受限？别担心来这里丝滑玩转700亿参数Llama3还有100元券免费薅！

　　如何无痛玩转Llama 3，这个手把手教程一看就会！80亿参数推理单卡半分钟速成，微调700亿参数仅用4卡近半小时训完，还有100元代金券免费薅。

　　邮件中，OpenAI宣布自7月9日起，将不再对中国等不支持国家的用户提供API服务。

　　许多开发者听到之ng体育官网入口注册后，犹如晴天霹雳，在AI圈里可是吵翻了天。这意味着，不仅是国内开发者，就连企业，都需要寻找新的解决方案。

　　现在看来，能与GPT-4分庭抗礼的Llama 3大模型，无疑是一个不错的选择。

　　Llama作为一个完全开源的模型，只要我们有机器，就相当于有了可以不限使用次数的大语言模型帮忙处理任务。

　　不过，在使用Llama 3之前，还需先在Meta这边填一个表格，并签一个长长的英文协议；然后会被指引到一个GitHub地址，并收到一个邮件链接去下载模型。

　　此外，如果想体验最大、效果最好的700亿参数模型，下载所需的时间也十分「令人酸爽」，尤其是在没有科学加速的情况下。

　　因为我们一直没有下好Llama 3的模型权重， 所以今天没法带大家体验了，此贴到此结束。 （不是）

　　开玩笑的，我们最近发现了一家宝藏公司，所有的下载和配置都已经提前帮我们完成了！

　　不但700亿参数需要耗费132GB存储的模型已经放在了公开数据中，而且还配置好了Llama 3的推理和训练微调环境。

　　话不多说，在完成潞晨云账户注册充钱等一系列流程后，我们就开了个机器试了一波。

　　根据Llama 3官方网址用80亿参数的模型推理只需1卡，而700亿的模型需要8卡。

　　在公共镜像中找到Llama 3的推理镜像，然后选择1张显卡，勾上「允许SSH连接」，「存储持久化」，「挂载公开数据」，最后点击右下角的创建。

　　似乎写了一半被截断了，应该是max_length给太短，我们调整到200，再来一次。

　　这次生成结果变长了不少，不过看起来Llama 3 80亿的模型能力还是一般，比如突然生成了「3. The United Kingdom」这个部分，前后文不是很严谨。

　　我们还注意到，在没有给prompt的情况下，模型两次都生成同样的开头。这引起了我们的好奇，于是我们决定从代码层面，看看到底是怎么一回事。

　　原来是之前跑这个脚本用了默认的prompt，现在，我们换成一个自定义的文本提示试试。

　　从结果来看，虽然可以成功继续生成，但是有点越扯越远了，除了前两句，后面并没有像我们期待的那样讲一个故事。

　　非常好，这次模型终于真的在讲故事了！感觉指令模型会比基础的模型更好用一些。

　　在单卡上尝试过80亿参数模型的效果以后，我们再来试试更大的700亿参数模型。

　　此时我们发现，其实Llama-Factory的代码既支持推理也支持微调，所以干脆直接拿这个镜像来试试好了。

　　和之前一样的流程启动云主机，这次选择Llama-Factory镜像，卡数选4即可。

　　可以看到，效果拔群！由于完全不用修改代码提示，可以直接输入对话内容，使用体验感直接拉满。

　　模型写了一个名叫Aria的蓝鲸的故事，讲她在一次海底探险中遇到了海底秘密守护者。守护者告诉她她的歌声有特殊的力量。最终她成功联合了海底生物并打败了因人类污染而出现的黑暗力量。

　　这个故事中出现了一个名字「Abyssaria」，于是我们继续针对这个名字进行提问。

　　很快，模型就进一步对于这个海底城市进行了描述。不愧是700亿参数的模型，效果真的不赖。

　　根据上图中的资源预估，我们用Lora训练80亿参数的模型仅需一卡，而700亿参数的模型4卡A800即可。

　　打开Jupyter链接转到机器后，一样是把模型路径改到了本地，节省时间免下载。

　　可以看到这边默认用两个数据集，「identify」和「alpaca_en_demo」进行微调。我们很快就找到了这两个数据集的位置，放在/root/LLaMA-Factory/data下。

　　这个格式是真的很简单了，想要用自己的数据来微调这个模型，只需要把训练数据整理成一样的格式，再上传到云机器即可。

　　如果大家有过微调模型的经历，那么一定知道微调过程中大概率遇到各式各样的问题，比如机器环境不匹配，出现NaN等，有的模型甚至还需要自己手动改代码才能跑起来。

　　而今天的训练却完全不用担心Lora要怎么设置，不用操心环境配置，训练途中完全没有遇到任何问题。

　　一开始用了examples/lora_multi_gpu/llama3_lora_sft.yaml这个文件，然后发现这个文件只支持数据并行而没有对模型进行切割。 结果就是，每一台GPU上都需要保存整个模型，导致模型上传了17/30的时候就遭遇了内存溢出。

　　训练一千条数据的时间这次较久，26分钟。不过这个也可以理解，毕竟模型权重放在了4个显卡上，也造成了一些通讯时间的消耗。

　　在尝试了潞晨云后，我们发现，微调似乎比想象中的更简单，只要自己按格式准备好数据，就能直接在平台上跑通这个模型，操作丝滑，基本不用debug~

　　而且，其实还有更省钱的方法，甚至能不用自掏腰包，通过分享就可得到100元的机器使用代金券：

　　即使跑不起700亿的模型的多次实验，也完全可以先在80亿的模型上单卡多次实验，再把有希望的结果用700亿大模型一步到位！