Revert "sub plan page (labring#885)" (labring#886)

This reverts commit 443ad37.
chenrui2200 · Feb 23, 2024 · fd9b629 · fd9b629
1 parent 443ad37
commit fd9b629
Show file tree

Hide file tree

Showing 246 changed files with 4,244 additions and 6,249 deletions.
diff --git a/docSite/content/docs/course/data_search.md b/docSite/content/docs/course/data_search.md
@@ -56,7 +56,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 ### 检索方案
 
-1. 通过`问题优化`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
+1. 通过`问题补全`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
 2. 通过`Concat query`来增加`Rerank`连续对话的时，排序的准确性。
 3. 通过`RRF`合并方式，综合多个渠道的检索效果。
 4. 通过`Rerank`来二次排序，提高精度。
@@ -97,7 +97,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 #### 结果重排
 
-利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题优化后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
+利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题补全后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
 
 FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结果进行合并，得到最终的搜索结果。
 
@@ -115,7 +115,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 该值仅在`语义检索`或使用`结果重排`时生效。
 
-### 问题优化
+### 问题补全
 
 #### 背景
 
@@ -125,7 +125,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 ![](/imgs/coreferenceResolution2.jpg)
 
-用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
+用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题补全】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
 
 ![](/imgs/coreferenceResolution3.jpg)
 

diff --git a/docSite/content/docs/development/configuration.md b/docSite/content/docs/development/configuration.md
@@ -13,7 +13,163 @@ weight: 708
 
 这个配置文件中包含了系统级参数、AI 对话的模型、function 模型等……
 
-## 4.6.8+ 版本新配置文件
+## 4.6.8 以前版本完整配置参数
+
+**使用时，请务必去除注释！**
+
+以下配置适用于V4.6.6-alpha版本以后
+
+```json
+{
+  "systemEnv": {
+    "vectorMaxProcess": 15, // 向量生成最大进程，结合数据库性能和 key 来设置
+    "qaMaxProcess": 15,  // QA 生成最大进程，结合数据库性能和 key 来设置
+    "pgHNSWEfSearch": 100  // pg vector 索引参数，越大精度高但速度慢
+  },
+  "chatModels": [ // 对话模型
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "inputPrice": 0, // 输入价格。 xx元/1k tokens
+      "outputPrice": 0, // 输出价格。 xx元/1k tokens
+      "maxContext": 16000, // 最大上下文长度
+      "maxResponse": 4000, // 最大回复长度
+      "quoteMaxToken": 2000, // 最大引用内容长度
+      "maxTemperature": 1.2, // 最大温度值
+      "censor": false, // 是否开启敏感词过滤(商业版)
+      "vision": false, // 支持图片输入
+      "defaultSystemChatPrompt": ""
+    },
+    {
+      "model": "gpt-3.5-turbo-16k",
+      "name": "GPT35-16k",
+      "maxContext": 16000,
+      "maxResponse": 16000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "quoteMaxToken": 8000,
+      "maxTemperature": 1.2,
+      "censor": false,
+      "vision": false,
+      "defaultSystemChatPrompt": ""
+    },
+    {
+      "model": "gpt-4",
+      "name": "GPT4-8k",
+      "maxContext": 8000,
+      "maxResponse": 8000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "quoteMaxToken": 4000,
+      "maxTemperature": 1.2,
+      "censor": false,
+      "vision": false,
+      "defaultSystemChatPrompt": ""
+    },
+    {
+      "model": "gpt-4-vision-preview",
+      "name": "GPT4-Vision",
+      "maxContext": 128000,
+      "maxResponse": 4000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "quoteMaxToken": 100000,
+      "maxTemperature": 1.2,
+      "censor": false,
+      "vision": true,
+      "defaultSystemChatPrompt": ""
+    }
+  ],
+  "qaModels": [ // QA 生成模型
+    {
+      "model": "gpt-3.5-turbo-16k",
+      "name": "GPT35-16k",
+      "maxContext": 16000,
+      "maxResponse": 16000,
+      "inputPrice": 0,
+      "outputPrice": 0
+    }
+  ],
+  "cqModels": [ // 问题分类模型
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 16000,
+      "maxResponse": 4000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "toolChoice": true, // 是否支持openai的 toolChoice， 不支持的模型需要设置为 false，会走提示词生成
+      "functionPrompt": ""
+    },
+    {
+      "model": "gpt-4",
+      "name": "GPT4-8k",
+      "maxContext": 8000,
+      "maxResponse": 8000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "toolChoice": true,
+      "functionPrompt": ""
+    }
+  ],
+  "extractModels": [ // 内容提取模型
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 16000,
+      "maxResponse": 4000,
+      "inputPrice": 0,
+      "outputPrice": 0,
+      "toolChoice": true,
+      "functionPrompt": ""
+    }
+  ],
+  "qgModels": [ // 生成下一步指引
+    {
+      "model": "gpt-3.5-turbo-1106",
+      "name": "GPT35-1106",
+      "maxContext": 1600,
+      "maxResponse": 4000,
+      "inputPrice": 0,
+      "outputPrice": 0
+    }
+  ],
+  "vectorModels": [ // 向量模型
+    {
+      "model": "text-embedding-ada-002",
+      "name": "Embedding-2",
+      "inputPrice": 0,
+      "defaultToken": 700,
+      "maxToken": 3000
+    }
+  ],
+  "reRankModels": [], // 重排模型,暂时填空数组
+  "audioSpeechModels": [
+    {
+      "model": "tts-1",
+      "name": "OpenAI TTS1",
+      "inputPrice": 0,
+      "baseUrl": "",
+      "key": "",
+      "voices": [
+        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
+        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
+        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
+        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
+        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
+        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
+      ]
+    }
+  ],
+  "whisperModel": {
+    "model": "whisper-1",
+    "name": "Whisper1",
+    "inputPrice": 0
+  }
+}
+```
+
+## 4.6.8 新配置文件
 
 llm模型全部合并
 
@@ -33,10 +189,11 @@ llm模型全部合并
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "charsPointsPrice": 0, 
+      "inputPrice": 0, 
+      "outputPrice": 0,
       "censor": false,
       "vision": false, // 是否支持图片输入
-      "datasetProcess": false, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
+      "datasetProcess": false, // 是否设置为知识库处理模型
       "toolChoice": true, // 是否支持工具选择
       "functionCall": false, // 是否支持函数调用
       "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
@@ -51,7 +208,8 @@ llm模型全部合并
       "maxResponse": 16000,
       "quoteMaxToken": 13000,
       "maxTemperature": 1.2,
-      "charsPointsPrice": 0,
+      "inputPrice": 0,
+      "outputPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": true,
@@ -69,7 +227,8 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "charsPointsPrice": 0,
+      "inputPrice": 0,
+      "outputPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": false,
@@ -87,9 +246,10 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "charsPointsPrice": 0,
+      "inputPrice": 0,
+      "outputPrice": 0,
       "censor": false,
-      "vision": true,
+      "vision": false,
       "datasetProcess": false,
       "toolChoice": true,
       "functionCall": false,
@@ -103,7 +263,8 @@ llm模型全部合并
     {
       "model": "text-embedding-ada-002",
       "name": "Embedding-2",
-      "charsPointsPrice": 0,
+      "inputPrice": 0,
+      "outputPrice": 0,
       "defaultToken": 700,
       "maxToken": 3000,
       "weight": 100,
@@ -115,7 +276,8 @@ llm模型全部合并
     {
       "model": "tts-1",
       "name": "OpenAI TTS1",
-      "charsPointsPrice": 0,
+      "inputPrice": 0,
+      "outputPrice": 0,
       "voices": [
         { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
         { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
@@ -129,7 +291,8 @@ llm模型全部合并
   "whisperModel": {
     "model": "whisper-1",
     "name": "Whisper1",
-    "charsPointsPrice": 0
+    "inputPrice": 0,
+    "outputPrice": 0
   }
 }
 ```
@@ -150,7 +313,7 @@ llm模型全部合并
         {
             "model": "bge-reranker-base", // 随意
             "name": "检索重排-base", // 随意
-            "charsPointsPrice": 0,
+            "inputPrice": 0,
             "requestUrl": "{{host}}/api/v1/rerank",
             "requestAuth": "安全凭证，已自动补 Bearer"
         }

diff --git a/docSite/content/docs/development/docker.md b/docSite/content/docs/development/docker.md
@@ -110,7 +110,6 @@ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data
 cd 项目目录
 # 创建 mongo 密钥
 openssl rand -base64 756 > ./mongodb.key
-# 600不行可以用chmod 999
 chmod 600 ./mongodb.key
 chown 999:root ./mongodb.key
 # 启动容器

diff --git a/docSite/content/docs/development/one-api.md b/docSite/content/docs/development/one-api.md
@@ -116,7 +116,8 @@ CHAT_API_KEY=sk-xxxxxx
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "charsPointsPrice": 0, 
+      "inputPrice": 0, 
+      "outputPrice": 0,
       "censor": false,
       "vision": false, // 是否支持图片输入
       "datasetProcess": false, // 是否设置为知识库处理模型