LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析

目录

• 【常见名词】
• 一、LLM的低资源模型微调
• 二、向量数据库
• • 1、Milvus(v2.1.4)：云原生自托管向量数据库（Ubuntu下）
  • • 1）安装（Docker Compose方式）：
    • 2）管理工具（仅支持Milvus 2.0 之后的）：
    • 3）python操作：基于pymilvus == 2.1.3
  • 2、Faiss
  • 3、Pinecone：完全托管的云原生向量数据库
  • 4、postgreSQL+pgvector插件
• 三、LangChain+外挂知识库
• • 1、简介
  • 2、安装
  • 3、主要的几大模块：
• 四、AI web工具
• • 1、Gradio==3.28.3
  • 2、Streamlit == 1.25.0
• 五、其他
• • 1、FastChat
  • 2、FastAPI

【常见名词】

1、token
token是LLM中处理的最小文本单元，token的分割有多种策略：
（1）基于空格分词：即以空格为分隔,将文本分割成词组。对于英文可以使用这种方式。
（2）基于词典分词：根据预设的词典,在词典中可以匹配到的词组作为一个token；
（3）基于字节对齐分词：按照字节个数将文本分割,常见的中文模型使用2字节或3字节对；
（4）基于子词分词：将单词拆分为更小的子词组成token,例如"learning"可以拆分为[“learn”,“##ing”]；
（5）BPE分词：通过统计学将高频词组 合并 为一个token。（GPT系列采用的方式：是一种基于数据压缩原理的算法，它可以根据语料库中出现频率最高的字节对（byte pair）来合并字节，从而生成新的字节。）

一、LLM的低资源模型微调

（1）p tuning v2

（2）Lora
这种方法有点类似于矩阵分解，可训练层维度和预训练模型层维度一致为d，先将维度d通过全连接层降维至r，再从r通过全连接层映射回d维度，r< 推理计算的时候，因为没有改变预训练权重，所以换不同的下游任务时，lora模型保存的权重也是可以相应加载进来的，通过矩阵分解的方法参数量减少了很多。

二、向量数据库

1、Milvus(v2.1.4)：云原生自托管向量数据库（Ubuntu下）

• milvus的GitHub
• 支持元数据存储。

1）安装（Docker Compose方式）：

• 参考博客：https://blog.csdn.net/hello_dear_you/article/details/127841589
• 官网说明：https://milvus.io/docs/v2.1.x/install_standalone-docker.md

【注意】安装的时候，如果第一次安装错了版本，直接重新走下面的步骤的时候很可能启动时，milvus-minio秒退！！

（1）创建目录：

（2）下载YAML文件

（3）在YAML文件所在目录下启动Milvus

【注意】
① 如果没有docker命令，则安装：

② 这个命令开始执行之后会自动下载Milvus对应的镜像文件，需要等待一段时间。 当镜像下载完成后，相应的容器也会启动。

（4）查看Milvus的启动状态：

（5）停止Milvus

2）管理工具（仅支持Milvus 2.0 之后的）：

（1） Milvus_cli
（2） Attu可视化管理界面官方安装教程

• attu的GitHub
• 注意 attu 和 milvus 版本之间的对应关系，否则会登录不了，点击connect报400 Bad Request。

① 使用Docker Compose方式进行安装，
step1：通过Docker Compose方式安装完成milvus（即下载完YAML文件）；
step2：编辑下载好的YAML文件，在service语句块添加以下内容：

step3：启动milvus：sudo docker-compose up -d

② 使用docker安装

step4：安装完成后，在连网的浏览器输入：http://{ your machine IP }:8001即可进入attu登录界面。
（your machine IP为安装milvus的机器ip；下图为attu的登陆界面，没有放开账号密码认证。）

3）python操作：基于pymilvus == 2.1.3

• 注意Milvus版本和pymilvus版本之间的对应，否则会报错：pymilvus.exceptions.MilvusException:
  两者之间的版本对应：官网

• pymilvus不同版本之间差异很大。
• milvus的字段数据类型（dtype）：仅可以在向量类型字段（（BINARY_VECTOR、FLOAT_VECTOR））上创建索引

• 索引类型（index_type）与向量度量类型（metric_type）：

（1）创建conda环境Milvus，并安装pymilvus

【注意】操作时使用docker-compose ps -a查看milvus运行状态，确保milvus容器处在开启状态。

2、Faiss

• FAISS的GitHub
• C++编写的向量索引工具，是针对稠密向量进行相似性搜索和聚类的一个高效类库；有python接口，有CPU版和GPU版，可以直接pip安装。
• 不支持元数据存储

3、Pinecone：完全托管的云原生向量数据库

python中使用：

4、postgreSQL+pgvector插件

GitHub网址：https://github.com/pgvector/pgvector
详细内容参见博客：https://blog.csdn.net/lucky_chaichai/article/details/118575261

三、LangChain+外挂知识库

1、简介

• langchain中文网：https://www.langchain.com.cn/
• LangChain是一个链接面向用户程序和LLM之间的一个中间层，用以集成LLM和自有知识库的数据。
• LangChain，可以通过将其它计算资源和自有的知识库结合，通过输入自己的知识库来“定制化”自己的大语言模型，防止“AI幻觉”；
• 使用langchain将外挂知识库与LLM结合的策略是：
  在向量数据库中索引 question 的相似向量（度量准则包括余弦距离、欧式距离等），找到top_n条向量对应的关联文本作为context，根据预设的模板拼接得到最终的prompt，如：

已知信息：{context}
根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请说 “根据已知信息无法回答该问题” 或 “没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。
问题是：{question}

外挂知识库+LLM的一般过程：

2、安装

3、主要的几大模块：

LLM API模块：langchain.llms
文本分块器：langchain.text_splitter（text_splitter中常用分类器介绍）
向量模型加载、向量化模块：langchain.embeddings
向量存储、索引模块：from langchain.vectorstores import Milvus, FAISS, Pinecone, Chroma
文件操作模块：langchain.docstore、angchain.document_loaders
langchain.agents

四、AI web工具

1、Gradio==3.28.3

• Gradio的GitHub：https://github.com/gradio-app/gradio
• Gradio支持Markdown文本显示规则，‘\n’换行不起作用，需要替换为‘
  ’；
• 目前感觉这个真的仅适合做小demo（可能我还不是太精通吧）；
• 组件的value是什么数据类型，则在触发事件的函数 fn 中就直接看作该类型进行操作。

gr.Interface()、gr.Blocks()两种方式搭建UI界面：

2、Streamlit == 1.25.0

• 在做LLM聊天web UI方面，streamlit要比Gradio复杂的多，功能也更加强大，需要自己对各种组件进行风格渲染（没有现成的chatbot这种组件）。
• 与Gradio相比，需要一点前端基础知识。
• 不同于Gradio，定义的组件对象和使用st.session_state.[组件key]获取的值一样……
• 运行方式：在py文件路径下，执行命令streamlit run webui_st.py

简单的聊天对话框示例：