前面我们介绍过几款构建本地知识库的开源项目,其原理还是基于本地文件构建向量数据库的方式,通过调用现有GPT语言模型的能力做向量相似计算,对于希望基于GPT语言模型的能力构建自己的APP应用或者集成到现有产品中去实际上会非常方便,具有一定的市场空间。
然后,对于一些涉密或者Security等级比较高的单位或者企业,希望在保证数据安全性的前提下,也能享受大语言模型带来的红利,构建企业级本地私有化模型,基于此构建自己的GPT产品或者聊天机器人、智能客户等等
在经过了一系列的选型,尝试,对比之后,像LLaMa和GPT4ALL之类的开源模型目前对中文的支持不不够友好,另外参数量也比较小,最终发现清华大学开源的一款ChatGPT-6B模型,最关键的问题,对中文支持比较友好,也可以上传数据集自己进行模型微调,最重要的是可以支持在消费级的显卡上运行,当然了,要是实际使用还是建议选择一台具备AI算力的服务器来部署,显存至少25G以上,在没有服务器的条件下,建议使用Colab,并启用GPUA。
二、产品介绍2.1、GLM:预训练模型GLM的出发点是将3种主流的预训练模型进行统一:
GPT的训练目标是从左到右的文本生成
BERT的训练目标是对文本进行随机掩码,然后预测被掩码的词
T5则是接受一段文本,从左到右的生成另一段文本
2.2、开源GLM系列GLMGithubPaper
(