本项目是一个使用LLM(大语言模型)使用RAG技术构建文档问答的项目,将会涵盖企业构建基于RAG的文档问答几乎所有的常见优化手段。 项目重点介绍算法流程,不会将重点放在非常规范化的工程代码上,因此,每一个Notebook文件都可以独立运行,不会做公共逻辑的抽象。 具体包括如下话题:
- 问答数据构建
- Baseline搭建
- 检索优化
- 使用RAG技术构建企业级文档问答系统:检索优化(1)Embedding微调
- 使用RAG技术构建企业级文档问答系统:检索优化(2)Multi Query
- 使用RAG技术构建企业级文档问答系统:检索优化(3)RAG Fusion
- 使用RAG技术构建企业级文档问答系统:检索优化(4)BM25和混合检索
- 使用RAG技术构建企业级文档问答系统:检索优化(5)常用Rerank对比
- 使用RAG技术构建企业级文档问答系统:检索优化(6) Rerank模型微调
- 使用RAG技术构建企业级文档问答系统:检索优化(7)HyDE
- 使用RAG技术构建企业级文档问答系统:检索优化(8)Step-Back Prompting
- 使用RAG技术构建企业级文档问答系统:检索优化(9)Parent Document Retriever
- 使用RAG技术构建企业级文档问答系统:检索优化(10)上下文压缩
- 使用RAG技术构建企业级文档问答系统:检索优化(11)上下文片段数调参
- 使用RAG技术构建企业级文档问答系统:检索优化(12)RAPTOR
- 使用RAG技术构建企业级文档问答系统:检索优化(13)Contextual Retrieval
- 文档解析优化
- 文档切分优化
- 生成优化
- 评估
- 使用Flowise零代码构建RAG
- Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索
- Langchain中使用千问官方API进行Function Call实现天气查询、网络搜索
- 使用Ollama提供的Llama3 8B搭建自己的斯坦福多智能体AI小镇
- 使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇
欢迎大家关注我的公众号,关注LLM、Langchain、Agent、Knowledge Graph等话题,会定期开源一些项目。