LLM+RAG开发实战：开发环境搭建与检索增强代码实现

0611163

3个月前发布

170

准备环境

miniconda

作用：

虚拟环境：为每个项目创建独立的Python环境（如Python 3.10），避免全局安装导致版本冲突。
依赖管理：通过conda或pip精准安装AI框架（如PyTorch、LangChain），解决库版本兼容性问题。

安装：

下载地址：miniconda下载下载一个较新版本，例如：Miniconda3-py312_24.11.1-0-Windows-x86_64.exe
安装
编辑Path变量，新增：D:\ProgramData\miniconda3 D:\ProgramData\miniconda3\Scripts D:\ProgramData\miniconda3\Library\bin ，验证：打开cmd，输入conda info，看到信息说明配置成功

ollama

作用：

开箱即用：无需配置复杂环境，直接下载运行Llama3、Mistral等开源大模型。
简化交互：提供类似OpenAI的REST API，方便通过代码调用模型生成文本。
轻量化：支持CPU/GPU运行，适合本地测试和小规模部署。

安装：

下载地址：ollama下载
安装
环境变量：新增系统变量OLLAMA_MODELS=D:\OllamaModels

向量数据库

这里使用的是Chroma，需要通过pip安装langchain-chroma库

作用：

存储向量：将文本、图片等数据转换为向量（一组数字），实现语义检索。
加速检索：通过近似算法（如Faiss）快速查找相似内容，支撑大模型的RAG（检索增强生成）。

典型工具：

Chroma（轻量级）
Milvus（高性能）

python虚拟环境

创建python虚拟环境：conda create -n llm-rag python=3.12.8
进入环境：conda activate llm-rag
安装相关包：pip install langchain langchain-community langchain-ollama langchain-chroma jupyterlab

库说明

LangChain 是一个用于构建基于大语言模型（LLMs）应用程序的开源框架，目标是简化将语言模型与其他工具、数据源和业务逻辑集成的流程，帮助开发者快速开发对话系统、问答工具、自动化工作流等AI应用。
langchain-community 是 LangChain 生态系统中的一个官方子包，用于存放由社区贡献或维护的第三方集成、工具和扩展。它的主要目的是将非核心功能从主包 langchain 中分离出来，使 LangChain 的核心库更加轻量，同时允许社区更灵活地维护和更新外部依赖的功能。
langchain-ollama 是一个将 LangChain 框架与 Ollama 工具集成的库，旨在简化在本地环境中使用大型语言模型（LLMs）开发应用的流程。
langchain-chroma 是 LangChain 框架与 Chroma 向量数据库的集成组件，用于在基于大型语言模型（LLM）的应用中高效存储、检索文本数据的向量嵌入。
JupyterLab 是一款开源的交互式开发环境（IDE），专为数据科学、机器学习和科学计算设计。它是传统 Jupyter Notebook 的升级版，提供了更现代化、灵活的界面和功能，支持用户在一个集成的 Web 界面中同时使用多种工具（如代码编辑器、Notebook、终端、可视化工具等）。输入jupyter lab回车即可打开jupyterlab页面。可以使用jupyterlab编写代码，但这里使用的是PyCharm开发工具。

下载模型

ollama pull deepseek-r1:1.5b
ollama pull autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest
列出已下载的模型：ollama list

PyCharm

请安装PyCharm较新版本，例如：PyCharm 2024.3.4
创建新项目：File -> New Project…
Interpreter Type选择Custom environment， Type选择Conda， Path to conda选择D:\ProgramData\miniconda3_conda.exe， Environment选择之前创建的D:\ProgramData\miniconda3\envs\llm-rag，点击Create创建，然后就可以创建py文件开发了。

代码实现

知识库文本分割与向量化存储

from langchain_community.document_loaders import TextLoader  # 导入文本
from langchain_text_splitters import RecursiveCharacterTextSplitter  # 文本切割
from langchain_ollama import OllamaEmbeddings  # 绑定向量模型
from langchain_chroma import Chroma  # 数据向量化入库
import os


def saveToVectorDB(filePath):
    loader = TextLoader(filePath, encoding="utf-8")
    txt = loader.load()
    print(txt)

    textSpliter = RecursiveCharacterTextSplitter(
        separators=["\n\n", "\r\n", "\n", "。", ".", "！", "!", "，", ",", "、", " ", ""],
        chunk_size=150,
        chunk_overlap=50,
    )
    allSpliter = textSpliter.split_documents(txt)
    print(allSpliter)

    # 绑定向量模型
    Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")

    # 数据向量化入库
    persist_dir = "./vector_db"
    if os.path.exists(persist_dir):
        db = Chroma(
            embedding_function=Embeddings,
            persist_directory=persist_dir,
            collection_metadata={"hnsw:space": "cosine"}
        )
        db.add_documents(documents=allSpliter)
    else:
        db = Chroma.from_documents(
            documents=allSpliter,
            embedding=Embeddings,
            persist_directory=persist_dir,
            collection_metadata={"hnsw:space": "cosine"}
        )
    print("count=", db._collection.count())


saveToVectorDB(os.getcwd() + "\\docs\\断网离线部署方法.txt")
saveToVectorDB(os.getcwd() + "\\docs\\公司产品手册.md")
saveToVectorDB(os.getcwd() + "\\docs\\公司员工手册(AI生成).md")

向量数据库查询

from langchain_ollama import OllamaEmbeddings
from langchain_chroma import Chroma


def queryVectorDB(queryText):
    # 绑定向量模型
    Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")

    db = Chroma(persist_directory="./vector_db", embedding_function=Embeddings)

    # 查询
    # retriever = db.as_retriever(search_kwargs={"k": 3})
    retriever = db.as_retriever(search_type="similarity_score_threshold",
                                search_kwargs={"k": 10, "score_threshold": 0.48})
    results = retriever.invoke(queryText)

    return "\n\n".join(doc.page_content for i, doc in enumerate(results, start=1))

向量数据库查询测试代码

from QueryVectorDB import queryVectorDB

print("======================================================================================\r\n")
result = queryVectorDB("华为公司员工的工作时间是几点到几点？")
print("查询结果1：\n", result)
print("======================================================================================\r\n")
result = queryVectorDB("在华为工作了13年的员工能享受几天带薪年假？")
print("查询结果2：\n", result)
print("======================================================================================\r\n")
result = queryVectorDB("华为公司有哪些保密规定？")
print("查询结果3：\n", result)
print("======================================================================================\r\n")
result = queryVectorDB("华为Mate系统系列手机的特点是什么？")
print("查询结果4：\n", result)
print("======================================================================================\r\n")
result = queryVectorDB("如何使用ollama离线部署deepseek？")
print("查询结果5：\n", result)

基于RAG的DeepSeek模型问答实现

from langchain_core.prompts import ChatPromptTemplate  # 构建prompt
from langchain_ollama import ChatOllama  # 使用ollama进行回答
from langchain_core.output_parsers import StrOutputParser  # 输出格式化
import QueryVectorDB


def chat(question):
    dbResult = QueryVectorDB.queryVectorDB(question)

    # prompt模板
    prompt = ChatPromptTemplate.from_template(""" 
    请根据已知信息回答问题
    
    ## 已知信息：
    {context}
    
    ## 问题：
    {question}
    
    ## 限制:
    - 回答时请注意问题和已知信息的相关性。
    - 只回答与已知信息相关的问题，拒绝回答无关话题。
    - 所输出的内容必须逻辑清晰、有条理。
    - 回答内容需基于已知信息，若已知信息中无相关内容，需明确告知用户无对应答案。
    """)

    llm = ChatOllama(model="deepseek-r1:1.5b")  # 绑定大模型

    output_parser = StrOutputParser()  # 过滤不需要的输出信息

    rag_chain = prompt | llm | output_parser  # 绑定之前的config

    result = rag_chain.invoke({"question": question, "context": dbResult})
    return result


result = chat("华为公司员工的工作时间是几点到几点？")
print("deepseek回答1：\n", result)
result = chat("在华为工作了13年的员工能享受几天带薪年假？")
print("deepseek回答2：\n", result)
result = chat("华为公司有哪些保密规定？")
print("deepseek回答3：\n", result)
result = chat("华为Mate系统系列手机的特点是什么？")
print("deepseek回答4：\n", result)
result = chat("如何使用ollama离线部署deepseek？")
print("deepseek回答5：\n", result)