知识库平台设计(开源知识库平台)深度揭秘
用脱胎换骨来形容4.15版本闻达和5.2版本,毫不为过。
↑ 点击上方“AI赋能实验室”关注我们半个月前,我们介绍过一款引人注目的大语言模型平台——闻达令人惊讶的是,在短短的半个月时间里,这个平台不仅实现了知识库功能的迭代升级,还扩展了对各种类GPT大模型的支持。
用脱胎换骨来形容4.15版本闻达和5.2版本,毫不为过今天,我们来update一下闻达的这半个月的成长如果你没了解过之前的闻达,可以点下面的链接复习:大模型测评开源+本地运行!效果最好的中文类CHATGPT大模型平台闻达测评。
目前,闻达的基本功能如下:目前支持的大模型:chatGLM-6B、chatRWKV、chatYuan、llama系列以及openaiapi和chatglm130b api,初步支持moss使用知识库扩展模型所知信息,使用auto脚本(类似AUTOGPT,但靠人工实现编写脚本),提高模型生成质量和复杂问题解决能力。
支持chatGLM-6B、chatRWKV、llama系列流式输出和输出过程中中断自动保存对话历史至浏览器(多用户同时使用不会冲突,chatRWKV历史消息实现方式需使用string)对话历史管理(删除单条、清空)
支持局域网、内网部署和多用户同时使用。这个界面,是4.15时期的闻达:
而现在,它的功能体系快速增加到现在这个样子:
从上面的功能列表可以看到,如果你家里有一台可以跑glm6b的电脑,那么装上闻达,再整好个人知识库,当个私有化助手完全没问题顺便插一句,根据UC伯克利的评测,GLM6B是目前能排上前五的开源LLM模型论中文,那就是第一了。
经过半个月以来的社区迭代验证,采用知识库+auto脚本的形式为LLM提高生成能力,已经证实可以实质性地提高了小模型的实际性能,知识库+auto脚本的方案,成为后续的主要发展方向具体来说,知识库+auto脚本的设计使得大语言模型能够在相对较低的计算资源和成本下运行。
这一创新性解决方案为中小企业和个人用户提供了更多的机会,让他们能够在有限的资源条件下享受到先进的大语言模型技术其次,闻达在国内大背景下,着重关注了知识安全和私密性问题知识库可以部署在本地,对很多有数据安全性敏感的用户来说,非常重要。
在本地运行和处理数据,显然有效地保护了用户数据的安全和隐私。这一策略不仅降低了数据泄露的风险,同时也使得用户能够在一个更加可靠的环境下使用大语言模型。
当然,我们不能不提到闻达的一个特别之处——它并非由国内大厂开发,而是由个人开发者主导的。作者五一期间都在爆肝更新迭代,真的非常勤奋!
你看,在我写文章这会儿,作者也在更新这会儿增加的,是QQbot功能毫不夸张的说,这让很多大厂都为之惭愧!为什么我会这样说呢?关注科技进度的人都知道最近大模型领域已经冒出来许多能力上和CHATGPT相差不远的模型。
比如,本AI赋能实验室粗略部署测试过的国外模型就有:VICUNA-13B-GPTQVICUNA-CHINESE13B-GPTQGPT4-ALPACA-LORA13BWIZARDLM-7B…………等等我们是测评大模型的,当然要用过~哪个表现更好?卖个关子,请后续关注。
它们的部署,也几乎和大家熟知的STABLE DIFFUSION WEBUI一样,基于统一的webui框架,都是开源并可以部署在具备强大GPU的个人电脑上的;但很显然,国内用过它们的人,真的不多!知道它们真实能力的,更不多!
大模型层出不穷,所以,闻达这样一个类似webui这样的多模型平台,对公众的贡献价值就很大;而它竟然是用爱发电的,就更值得赞扬事实上,和大厂的产品相比,个人开发者主导的闻达可能更具有某种程度的灵活性和敏捷性。
他们能够更快地响应市场需求和技术变革,从而实现产品的快速迭代这也是闻达能在短短半个月内实现如此多进展的一个重要原因说到这里,不得不吐槽几句国内大厂,最近这两个月以来国内大厂加班加点,各家都拿出来了答卷,但是有一点,大厂圈地自封的传统习惯并未改变,各家的大模型,基本上只面向商用小伙伴内测,有的甚至东西都没做好,就已经准备好API收费标准;显然,面对GPT4这样的顶级领跑者,国内相当部分的大厂可能仍然沉浸于守好自己一亩三分地的幻想之中。
往小了说,可能导致资源的浪费和重复投入往大了说,被CHATGPT领跑并超越之后, 中国互联网行业就应该意识到危机,更加需要摒弃关起门来各搞各的发展模式,整个行业需要有更加开放、合作的生态,这就要求鼓励巨头们打破篱笆,选择有序合作、开放数据和技术共享;去激发在社会上更大的创新潜力。
这也是我们为什么高度认同闻达这个小项目正如我们在闻达的案例中所看到的,个人开发者也有可能积极参与大语言模型的研究和创新,而最底层的创新者的参与或许能够为整个行业带来新的活力,提供更多元化的选择大模型观察。
【AI赋能策略】你想把AI大模型当员工用吗?来看看GPT4给出的新时代法则吧当类chatGPT大模型不再稀缺,新时代应用如何掘金?大模型走向大白菜化?——对阿里华为京东等国产LLM模型的初步评估观察OPENAI大面积封号,我们该怎么办?
欢迎关注我们:本号的姐妹号:喜欢本文,请在右下角给我们点下“好看”
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186