c#发展

首页 » 常识 » 诊断 » 基于ChatGLM6B构建本地私有化离
TUhjnbcbe - 2023/9/5 21:18:00

前言

前面我们介绍过几款构建本地知识库的开源项目,其原理还是基于本地文件构建向量数据库的方式,通过调用现有GPT语言模型的能力做向量相似计算,对于希望基于GPT语言模型的能力构建自己的APP应用或者集成到现有产品中去实际上会非常方便,具有一定的市场空间。

然后,对于一些涉密或者Security等级比较高的单位或者企业,希望在保证数据安全性的前提下,也能享受大语言模型带来的红利,构建企业级本地私有化模型,基于此构建自己的GPT产品或者聊天机器人、智能客户等等

在经过了一系列的选型,尝试,对比之后,像LLaMa和GPT4ALL之类的开源模型目前对中文的支持不不够友好,另外参数量也比较小,最终发现清华大学开源的一款ChatGPT-6B模型,最关键的问题,对中文支持比较友好,也可以上传数据集自己进行模型微调,最重要的是可以支持在消费级的显卡上运行,当然了,要是实际使用还是建议选择一台具备AI算力的服务器来部署,显存至少25G以上,在没有服务器的条件下,建议使用Colab,并启用GPUA。

二、产品介绍

2.1、GLM:预训练模型

GLM的出发点是将3种主流的预训练模型进行统一:

GPT的训练目标是从左到右的文本生成

BERT的训练目标是对文本进行随机掩码,然后预测被掩码的词

T5则是接受一段文本,从左到右的生成另一段文本

2.2、开源GLM系列

GLMGithubPaper

1
查看完整版本: 基于ChatGLM6B构建本地私有化离