知识库搭建(本地知识库搭建)新鲜出炉

2023-09-15Aix XinLe

本文介绍如何基于自己本地私有知识库搭建属于个人的专属 GPT 聊天机器人。

知识库搭建(本地知识库搭建)新鲜出炉

前言： ChatGPT 的使用精准度除了取决于 prompt 能力外，还取决于数据库预料的丰富度据统计GPT3.5使用的数据截止到2021年，所以现在2023年，再具体的业务场景，还是需要与时俱进的垂直领域的专属数据才会更具针对性。

本文介绍如何基于自己本地私有知识库搭建属于个人的专属 GPT 聊天机器人高效5分钟，使用简单的代码，哪怕没有技术背景也不用担心学不会主要基于 GPT4+Llamaindex+LangChain。

（图片来自AI绘画，A lone figure in a small boat, surrounded by a vast expanse of emerald-green mountains and a deep blue ocean.）

搭建本地知识库聊天对话机器人主要分为以下几步：1. 第一阶段：数据摄取，使用 Llamaindex 去建立数据索引2. 第二阶段：ChatGPT关联使用，使用 LangChain 驱动 GPT 使用3. 第二阶段：数据查询，基于prompt 使用ChatGPT 将自然语音（NLP）翻译为数据查询语音，再将返回的结果翻译成为自然语音（NLP）。

原理很简单，第一步采集数据并基于数据进行数据特征提取，建立索引第二步，使用LangChain工具驱动调用 ChatGPT 模型使用，输入对于的API key第三部，就是最后一步将自然语音翻译成为数据语言，最后将返回的结果再翻译成为自然语音的过程，这个过程使用的就是ChatGPT的自然语音处理能力。

参考B站视频地址：【5分钟学会搭建本地知识库聊天机器人(基于GPT4+Llamaindex+LangChain)】 https://www.bilibili.com/video/BV18o4y1N7Dm/?share_source=copy_web&vd_source=0ecb3751fd4f608edf6ae263662f9f59

01数据摄取首先：准备一个运行环境。建议使用第三方软件平台，可以提供一站式的资源环境，我这边选择的是 google colaboratory 。