说明

本项目是一个使用LLM（大语言模型）使用RAG技术构建文档问答的项目，将会涵盖企业构建基于RAG的文档问答几乎所有的常见优化手段。 项目重点介绍算法流程，不会将重点放在非常规范化的工程代码上，因此，每一个Notebook文件都可以独立运行，不会做公共逻辑的抽象。 具体包括如下话题：

RAG系列

• 问答数据构建
  • 使用RAG技术构建企业级文档问答系统之QA抽取
• Baseline搭建
  • 使用RAG技术构建企业级文档问答系统之基础流程
• 检索优化
  • 使用RAG技术构建企业级文档问答系统：检索优化(1)Embedding微调
  • 使用RAG技术构建企业级文档问答系统：检索优化(2)Multi Query
  • 使用RAG技术构建企业级文档问答系统：检索优化(3)RAG Fusion
  • 使用RAG技术构建企业级文档问答系统：检索优化(4)BM25和混合检索
  • 使用RAG技术构建企业级文档问答系统：检索优化(5)常用Rerank对比
  • 使用RAG技术构建企业级文档问答系统：检索优化(6) Rerank模型微调
  • 使用RAG技术构建企业级文档问答系统：检索优化(7)HyDE
  • 使用RAG技术构建企业级文档问答系统：检索优化(8)Step-Back Prompting
  • 使用RAG技术构建企业级文档问答系统：检索优化(9)Parent Document Retriever
  • 使用RAG技术构建企业级文档问答系统：检索优化(10)上下文压缩
  • 使用RAG技术构建企业级文档问答系统：检索优化(11)上下文片段数调参
  • 使用RAG技术构建企业级文档问答系统：检索优化(12)RAPTOR
  • 使用RAG技术构建企业级文档问答系统：检索优化(13)Contextual Retrieval
• 文档解析优化
• 文档切分优化
• 生成优化
  • 使用RAG技术构建企业级文档问答系统：生成优化(1)超长上下文LLM vs. RAG
• 评估
  • 使用RAG技术构建企业级文档问答系统之使用TruLens进行评估
  • 使用RAG技术构建企业级文档问答系统之使用GPT4进行评估
• 使用Flowise零代码构建RAG
  • 使用Flowise零代码构建RAG(1)——基础流程
  • 使用Flowise零代码构建RAG(2)——HyDE
  • 使用Flowise零代码构建RAG(3)——Reciprocal Rank Fusion

Agent系列

• Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索
• Langchain中使用千问官方API进行Function Call实现天气查询、网络搜索
• 使用Ollama提供的Llama3 8B搭建自己的斯坦福多智能体AI小镇
• 使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇

公众号

欢迎大家关注我的公众号，关注LLM、Langchain、Agent、Knowledge Graph等话题，会定期开源一些项目。