寂夜清风 发表于 2023-4-25 12:47

【ZT】一个优化过的7B和13B的模型

我合并+量化了7B和13B的模型提供给大家下载,并写了使用方法。



其实合并和量化都很简单,也很快,但是没人写文档说怎么用。
下载仓库地址: https://huggingface.co/johnlui/c ... b-and-13b-quantized
移动本仓库中的Llama-7b-hf 和llama-13b-hf 两个文件夹,到你项目的/models 文件下即可。该文件央同时适用于 lama.cpp和 text-generation-webui 。

https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/204



以ChatGPT、GPT-4等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。然而,由于大语言模型的训练和部署都极为昂贵,为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究,本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。详细内容请参考技术报告(Cui, Yang, and Yao, 2023)。
本项目主要内容:
[*]🚀 针对原版LLaMA模型扩充了中文词表,提升了中文编解码效率
[*]🚀 开源了使用中文文本数据预训练的中文LLaMA以及经过指令精调的中文Alpaca(7B、13B)
[*]🚀 快速使用笔记本电脑(个人PC)的CPU/GPU本地量化和部署体验大模型
[*]🚀 支持🤗transformers, llama.cpp, text-generation-webui, LlamaChat等生态




经过本人合成及量化的 7B/13B 模型开这个仓,主要是为了给大家讲述使用方法,这玩意儿真得自己摸索啊。

直接使用方法
移动本仓库中的 llama-7b-hf 和 llama-13b-hf 两个文件夹,到你项目的 ./models 文件下即可。该文件夹同时适用于 llama.cpp 和 text-generation-webui。

DIY 使用方法以 7B 为例:
[*]在 models 文件下新建名为 llama-7b-hf 的文件夹,注意,此名字不可以随意修改
[*]llama-7b-hf 下只需要有两个文件:config.json 和 ggml-model-q4_0.bin
[*]config.json 大家可以到基础库里面下载
[*]ggml-model-q4_0.bin 就是你按照教程合成出来的最终文件


资料来源7b 为我自己合成,13b 是从 https://huggingface.co/minlik/chinese-alpaca-13b-quantized 仓库里下载的。

页: [1]
查看完整版本: 【ZT】一个优化过的7B和13B的模型