硕鼠的博客站

1️⃣ 探索开源新动态：
Llama3的推出，彻底激活了开源领域，大家都动起来了。

2️⃣ 本地部署体验：
LLama3-8B，在本地跑起来，效率还是不错的。

3️⃣ 中文支持的挑战：
可惜LLama3对与中文支持的效果并不好。

4️⃣ 中文优化版的迅速响应：
不到一周，Llama3-8B-Chinese就来了。

5️⃣ 我的尝试：
我去尝试了一下。

🔗 链接： https://huggingface.co
在上面去搜索chinese这个词，就会看到很多LLama3的中文微调结果。

6️⃣ 本地部署框架要求：
因为我使用的本地部署框架是Ollama，所以我只能接受GGUF格式的。

7️⃣ 搜索与选择：
于是搜索chinese GGUF，一大堆的Llama3-8B-Chinese相关的GGUF格式大模型。

8️⃣ 试用决定：
随表挑一个，这些模型之间到底有什么差异，还不了解。先挑一个试用一下吧。

🔗 下载链接： Llama3-8B-Chinese-Chat-GGUF
我用的是这个链接。

🔗 具体版本下载： Llama3-8B-Chinese-Chat.q4_k_m.GGUF
挑选这个版本进行下载，我们正常使用的都是q4的版本。

9️⃣ 配置modelfile：
下一步是编制ollama的modelfile文件。

📝 Modelfile 设置：

FROM ./Llama3-8B-Chinese-Chat.q4_k_m.GGUF
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>
"""
PARAMETER num_keep 24
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
SYSTEM """这里是中文LLama3-8B聊天模型，很开心为您服务"""

🚀 执行命令：

ollama create Llama3-8B-Chinese-Chat -f llama3-8b-chinese-chat.modelfile

🎉 上线与邀请：
好了，中文版Llama3-8B的聊天模型上线了，希望大家玩儿得开心。