【ZT】一个优化过的7B和13B的模型

寂夜清风

我合并+量化了7B和13B的模型提供给大家下载，并写了使用方法。



其实合并和量化都很简单，也很快，但是没人写文档说怎么用。
下载仓库地址: https://huggingface.co/johnlui/c ... b-and-13b-quantized
移动本仓库中的Llama-7b-hf 和llama-13b-hf 两个文件夹，到你项目的/models 文件下即可。该文件央同时适用于 lama.cpp和 text-generation-webui 。

https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/204

[/quote]

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。

为了促进大模型在中文NLP社区的开放研究，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。详细内容请参考技术报告(Cui, Yang, and Yao, 2023)。

本项目主要内容：

• 🚀 针对原版LLaMA模型扩充了中文词表，提升了中文编解码效率
• 🚀 开源了使用中文文本数据预训练的中文LLaMA以及经过指令精调的中文Alpaca（7B、13B）
• 🚀 快速使用笔记本电脑（个人PC）的CPU/GPU本地量化和部署体验大模型
• 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LlamaChat等生态
  

[quote]

经过本人合成及量化的 7B/13B 模型

---

开这个仓，主要是为了给大家讲述使用方法，这玩意儿真得自己摸索啊。

直接使用方法

移动本仓库中的 llama-7b-hf 和 llama-13b-hf 两个文件夹，到你项目的 ./models 文件下即可。该文件夹同时适用于 llama.cpp 和 text-generation-webui。

DIY 使用方法

以 7B 为例：

• 在 models 文件下新建名为 llama-7b-hf 的文件夹，注意，此名字不可以随意修改
• llama-7b-hf 下只需要有两个文件：config.json 和 ggml-model-q4_0.bin
• config.json 大家可以到基础库里面下载
• ggml-model-q4_0.bin 就是你按照教程合成出来的最终文件
  

资料来源

7b 为我自己合成，13b 是从 https://huggingface.co/minlik/chinese-alpaca-13b-quantized 仓库里下载的。