Langchain-ChatGLM是一款使用了大语言模型的聊天机器人，它可以帮助用户快速搭建个人知识库，实现自动化问答和知识管理。用户可以上传自

 

Langchain-ChatGLM是一款使用了大语言模型的聊天机器人，它可以帮助用户快速搭建个人知识库，实现自动化问答和知识管理用户可以上传自己的私有化文档，并对自己的文档进行提问，用户问题的答案也是基于本地知识生成的。

部署条件准备在准备部署之前，请确保你拥有一台满足以下条件的Linux主机或者windows 主机：● 主机必须具备显卡，并且显存容量要达到6GB以上● 主机的内存容量应达到8GB以上● 主机的硬盘空间应达到100GB以上。

开始部署 以下是我部署所使用的环境和配置信息：● 操作系统：WSL Ubuntu 22.04● 显卡：NVIDIA GeForce GTX 3060 Laptop GPU● 显存：6GB● 内存：64GB

● 硬盘：2TB部署步骤安装miniCondaminiConda是一个轻量级的Conda版本，Conda能够快速创建和切换Python环境，使我们能够方便地在不同项目中使用不同的Python版本和库，从而避免版本冲突的问题。

下载地址：https://docs.conda.io/en/latest/miniconda.html#windows-installers安装后，需要把conda路径加入到环境变量中，以便在任意目录下都可以使用conda命令。

安装过程中会提示你是否将conda加入到环境变量中，选择yes即可安装git-scm（如果已经安装，可以跳过这一步）下载地址： https://git-scm.com/downloads安装CUDACUDA是NVIDIA提供的一个并行计算平台和编程模型，可以利用GPU的并行计算能力，加速计算密集型任务。

下载地址：https://developer.nvidia.com/cuda-downloads安装过程中，需要注意以下几点：● 选择合适的版本：如果你的显卡是NVIDIA的，那么选择NVIDIA Driver，否则选择NVIDIA CUDA Toolkit。

● 安装时，选择Custom（自定义）选项，然后选择合适的安装路径，例如：D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.5● 安装时，选择合适的组件，例如：CUDA Toolkit 11.5、CUDA Samples 11.5、Visual Studio Integration 11.5。

● 安装时，选择合适的安装选项，例如：安装驱动程序、安装CUDA 11.5、安装CUDA 11.5 Samples● 安装完成后，需要将CUDA的bin目录加入到环境变量中，例如：D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.5\bin。

安装cuDNNcuDNN是NVIDIA提供的一个GPU加速库，可以加速深度神经网络的训练和推理下载地址：https://developer.nvidia.com/rdp/cudnn-download安装过程中，需要注意以下几点：

● 选择合适的版本：如果你的显卡是NVIDIA的，那么选择cuDNN Library for Windows，否则选择cuDNN Library for Linux● 安装时，选择合适的安装路径，例如：D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.5。

● 安装完成后，需要将cuDNN的bin目录加入到环境变量中，例如：D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.5\bin下载langchain-ChatGLM代码。

在任意目录下，打开命令行，执行以下命令：git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git 创建conda环境，并安装依赖cd

langchain-ChatGLMcondacreate -p ./env python=3.8condaactivate ./envpipinstall -r requirements.txt备注：Linux下，在安装依赖之前，需要先安装paddleocr的相关依赖，如libX11、libXext：

aptinstall libx11-dev libxext-dev libxtst-dev libxrender-dev libxmu-dev libxmuu-devaptinstall libXext

下载离线模型langchain-ChatGLM使用了两种模型，一种是用于语义分段和向量转换的embedding模型，另一种是用于生成回复的大语言LLM模型（ChatGLM2-6B）如果网络条件较好，可以直接运行python 。

webui.py，它会自动下载模型如果网络环境不佳，请手动下载模型你可以使用以下方法之一：● 百度网盘下载模型（可以私聊提供百度网盘链接）● 访问Hugging Face网站，找到相关模型项目，并逐个下载模型文件（有时Hugging Face网站可能访问不稳定，请多尝试几次）。

下载完成后，解压到任意目录然后修改config/model_config.py文件中的模型路径在config/model_config.py文件中，需要修改两处：● 修改embedding模型路径，例如：。

embedding_model_dict = { "text2vec": "/your/path/to/text2vec-large-chinese", }● 修改LLM模型路径，例如：llm_model_dict = {

"chatglm-6b-int4-qe": { "local_model_path": "/your/path/to/chatglm-6b-int4-qe",

# ... }, # ... }● 运行：python webui.py如果没有报错，可以打开浏览器并访问http://your_server_ip:7860/，即可查看Web界面如果遇到错误，请参考以下文档（按顺序查找）：。

○ langchain-ChatGLM常见问题 https://github.com/imClumsyPanda/langchain-ChatGLM/blob/master/docs/FAQ.md所需的各种安装文件，和离线模型的百度网盘链接，可以私信联系提供。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186