知识库功能(书籍知识库)居然可以这样
在正式构建知识库前,我们先来了解下有贸AI写作是如何进行知识库检索的。首先了解几个基本概念:向量——将人类直观的语言(文字、图片、视频等)转成计
在正式构建知识库前,我们先来了解下有贸AI写作是如何进行知识库检索的首先了解几个基本概念:向量——将人类直观的语言(文字、图片、视频等)转成计算机可识别的语言(数组)向量相似度——两个向量之间可以进行计算,得到一个相似度,即代表:两个语言相似的程度。
语言大模型——上下文理解、总结和推理。结合上述 3 个概念,便有了 “向量搜索 + 大模型 = 知识库问答” 的公式。知识库操作首先,先创建一个常用算法的知识库。
通过 QA 拆分,获取基础知识我们去开源书库网找一些书籍文档,比如:www.icodebase.cn/books/gray_algorithm,进行 QA 拆分,从而获取一些算法基础的知识下面是排序算法的。
例子。
修正 QA通过书库的排序算法文档,我们一共得到了 8 组数据,整体的质量还是不错的,代码块和表格都提取出来了。如果知识点出现问题,就需要手动的修正一下。
知识库微调和参数调整有贸AI写作提供了搜索测试和对话测试两种途径对知识库进行微调,我们先来使用搜索测试对知识库进行调整我们建议你提前收集一些用户问题进行测试,根据预期效果进行跳转可以先进行搜索测试调整,判断知识点是否合理。
如果出现一些无关内容的相似度也被搜索进去,那我们可以在相关内容添加关键词,从而降低无关内容的相似度。应用操作首先需要去创建一个应用,并且在“知识库”中关联相关的知识库。
我们采用的是问答对的格式,而不是粗略的直接导入目的就是为了模拟用户问题,进一步的提高向量搜索的匹配效果可以为同一个问题设置多种问法,效果更佳提示词设置提示词的作用是引导模型对话的方向在设置提示词时,遵守 2 个原则:。
1、告诉模型回答什么方面内容。2、给知识库一个基本描述,从而让模型更好的判断用户的问题是否属于知识库范围。可以在提示词文末加上:优先根据知识库的内容回答用户问题。
更好的限定模型聊天范围首先,你可以通过调整知识库搜索时的相似度和最大搜索数量,实现从知识库层面限制聊天范围通常我们可以设置相似度为 0.82,并设置空搜索回复内容这意味着,如果用户的问题无法在知识库中匹配时,会直接回复预设的内容。
总结1、向量搜索是一种可以比较文本相似度的技术2、大模型具有总结和推理能力,可以从给定的文本中回答问题3、最有效的知识库构建方式是 QA 和手动构建4、问题的长度不宜过长5、需要调整提示词,来引导模型回答知识库内容。
6、可以通过调整搜索相似度、最大搜索数量和限定词来控制模型回复的范围。
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186