如何搭建个人知识库(开源知识库搭建)干货满满

2023-11-13Aix XinLe

ChatGPT的一个最让人期待的应用就是「建立私有知识库」。不论对于公司还是个人，私有知识库都具备无限的创新潜力和应用空间。

ChatGPT的一个最让人期待的应用就是「建立私有知识库」不论对于公司还是个人，私有知识库都具备无限的创新潜力和应用空间通过将ChatGPT与自有数据结合，您可以创建一个定制化的智能知识库，为您的业务需求提供强大的支持。

比如，您可以利用ChatGPT来搭建智能AI客服系统，提供个性化的客户支持；也可以构建企业内部或外部的知识库，用于组织和共享公司的知识资产您也可以利用ChatGPT搭建个人知识库，帮助您整理和管理个人知识。

，这样您和家人就可以在需要时随时获取智能化的建议和帮助小研精心为您挑选了10个优质的基于ChatGPT的「开源私有知识库项目」，大部分支持离线私有部署，个人和企业都可以放心使用| 第一个：Quivr - Your Second Brain。

Quivr，你的第二大脑，利用生成式人工智能的力量来存储和检索非结构化信息可以将其视为Obsidian，但通过AI功能加速增强Quivr是一个功能强大而高效的数据管理工具，可将本地文件向量化并存储到云端，随时可查询对话。

它采用先进的人工智能技术，支持多种文件格式，如文本、Markdown、PDF、音频和视频等，并支持生成式人工智能Quivr专为速度和效率而设计，保证数据安全可靠，另外还是开源且免费使用的项目地址：https://github.com/StanGirard/quivr

| 第二个：langchain-ChatGLM

一种基于 langchain 思想实现的本地知识库问答应用，旨在为中文场景与开源模型提供友好支持，可离线运行该应用能够使用 ChatGLM-6B 等大语言模型直接接入，或通过 fastchat api 形式接入其他模型。

本项目实现基于文件加载，文本分割，文本向量化，问题向量化，文本匹配，上下文添加等流程，可全部使用开源模型离线私有部署项目地址：https://github.com/imClumsyPanda/langchain-ChatGLM。

| 第三个：gpt4-pdf-chatbot-langchain-chroma

介绍如何使用GPT-4 api基于LangChain、Chroma、Typescript、Openai和Next.js等技术栈创建可处理多个大型PDF文件的ChatGPT聊天机器人LangChain是一个构建可扩展AI/LLM应用和聊天机器人的框架，Chroma则用于存储嵌入向量和文本，以便以后检索类似PDF文档。

包含操作指南、教程视频和错误排查部分项目地址：https://github.com/mayooear/gpt4-pdf-chatbot-langchain| 第四个：PrivateGPT

在没有互联网连接的情况下，通过使用语言模型的力量，向您的文档提问100%保密，您的数据在任何时候都不会离开您的执行环境您可以在没有互联网连接的情况下导入文档并提出问题！PrivateGPT支持".doc"、“.doc”、“.csv”、“.ppt”、“.txt”、“.html”等多种格式。

项目地址：https://github.com/imartinez/privateGPT| 第五个：LangChain-ChatGLM-Webui

受langchain-ChatGLM启发, 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列、Belle系列等模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding模型.

项目地址：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui| 第六个：doc-chatbot

该聊天机器人使用GPT-3.5-turbo训练模型，基于Pinecone和LangChain开发，支持多个主题、交谈和文件类型，并具有储存聊天记录等功能项目地址：https://github.com/dissorial/doc-chatbot。

| 第七个：embedchain

embedchain是一个框架，可以轻松地在任何数据集上创建LLM驱动的聊天机器人它将加载数据集、分块、创建嵌入和存储在向量数据库中的整个过程抽象出来您可以使用.add和.add_local函数添加单个或多个数据集，然后使用.query函数从添加的数据集中查找答案。

如果您想要创建一个包含1个YouTube视频、1本PDF书籍、2篇他的博客文章以及您提供的问题和答案对的Naval Ravikant机器人，您只需要添加视频、PDF和博客文章的链接即可，embedchain将为您创建一个机器人。

项目地址：https://github.com/embedchain/embedchain| 第八个：Danswer

Danswer是一款开源的企业级问答工具，通过自然语言问答提供可靠的答案，并提供引用和参考来源它具有智能的文档检索、AI助手、用户认证、文档级访问管理等功能，并支持与Slack、GitHub和Confluence等各种工具的连接。

Danswer可使用Docker Compose或Kubernetes轻松部署，未来的更新包括聊天/对话支持、自定义端点和个性化搜索Danswer使用生成式AI模型，从内部文档中提供可靠的答案，并提供引用和源链接。

它还具有智能的文档检索、解释用户意图的AI助手、用户认证和访问管理以及与Slack和Confluence等各种工具的连接项目地址：https://github.com/danswer-ai/danswer

| 第九个：MultiPDF Chat App

MultiPDF Chat App是一个Python应用程序，允许您与多个PDF文档进行聊天您可以用自然语言询问关于PDF的问题，应用程序将根据文档内容提供相关响应该应用程序利用语言模型生成准确的答案请注意，该应用程序仅会回答与已加载的PDF相关的问题。

项目地址：https://github.com/alejandro-ao/ask-multiple-pdfs| 第十个：AnythingLLM

AnythingLLM是一款全栈应用程序，用户可以智能地与文档和资源进行对话，利用长期记忆解决方案和向量数据库它提供了原子化管理文档、对话和查询两种聊天模式以及管理大型文档的成本节约措施该应用程序包括三个主要部分：收集器（用于将资源转换为LLM格式）、前端（用于内容管理）和服务器（用于交互和LLM管理）。

AnythingLLM是一款全栈应用程序，使用户可以将任何文档或内容转换为可以被AI助手使用的数据它支持商业LLM和开源LLM，可以在本地运行或远程托管该应用程序将文档分为工作空间，以便进行轻松的组织和上下文管理。

它提供了对话和查询聊天模式、引用链接以及管理大型文档的成本节约措施该代码库包括三个主要部分：收集器、前端和服务器可以使用Docker进行简单设置，开发环境需要yarn和node项目地址：https://github.com/Mintplex-Labs/anything-llm

以上就是小研为您精选挑选的搭建私有知识库开源项目，欢迎转发给需要的朋友。点击关注，小研会继续为您带来优质干货↓↓↓