V4.6.9-first commit (labring#899)

* perf: insert mongo dataset data session * perf: dataset data index * remove delay * rename bill schema * rename bill record * perf: bill table * perf: prompt * perf: sub plan * change the usage count * feat: usage bill * publish usages * doc * 新增团队聊天功能 (labring#20) * perf: doc * feat 添加标签部分 feat 信息团队标签配置 feat 新增团队同步管理 feat team分享页面 feat 完成team分享页面 feat 实现模糊搜索 style 格式化 fix 修复迷糊匹配 style 样式修改 fix 团队标签功能修复 * fix 修复鉴权功能 * merge 合并代码 * fix 修复引用错误 * fix 修复pr问题 * fix 修复ts格式问题 --------- Co-authored-by: archer <[email protected]> Co-authored-by: liuxingwan <[email protected]> * update extra plan * fix: ts * format * perf: bill field * feat: standard plan * fix: ts * feat 个人账号页面修改 (labring#22) * feat 添加标签部分 feat 信息团队标签配置 feat 新增团队同步管理 feat team分享页面 feat 完成team分享页面 feat 实现模糊搜索 style 格式化 fix 修复迷糊匹配 style 样式修改 fix 团队标签功能修复 * fix 修复鉴权功能 * merge 合并代码 * fix 修复引用错误 * fix 修复pr问题 * fix 修复ts格式问题 * feat 修改个人账号页 --------- Co-authored-by: liuxingwan <[email protected]> * sub plan page (labring#23) * fix chunk index; error page text * feat: dataset process Integral prediction * feat: stand plan field * feat: sub plan limit * perf: index * query extension * perf: share link push app name * perf: plan point unit * perf: get sub plan * perf: account page * feat 新增套餐详情弹窗代码 (labring#24) * merge 合并代码 * fix 新增套餐详情弹框 * fix 修复pr问题 * feat: change http node input to prompt editor (labring#21) * feat: change http node input to prompt editor * fix * split PromptEditor to HttpInput * Team plans (labring#25) * perf: pay check * perf: team plan test * plan limit check * replace sensitive text * perf: fix some null * collection null check * perf: plans modal * perf: http module * pacakge (labring#26) * individuation page and pay modal amount (labring#27) * feat: individuation page * team chat config * pay modal * plan count and replace invalid chars (labring#29) * fix: user oneapi * fix: training queue * fix: qa queue * perf: remove space chars * replace invalid chars * change httpinput dropdown menu (labring#28) * perf: http * reseet free plan * perf: plan code to packages * remove llm config to package * perf: code * perf: faq * fix: get team plan --------- Co-authored-by: yst <[email protected]> Co-authored-by: liuxingwan <[email protected]> Co-authored-by: heheer <[email protected]>
chenrui2200 · Feb 28, 2024 · 064c64e · 064c64e
1 parent 32686f9
commit 064c64e
Show file tree

Hide file tree

Showing 282 changed files with 7,194 additions and 4,702 deletions.
diff --git a/.vscode/settings.json b/.vscode/settings.json
@@ -10,6 +10,6 @@
     "i18n-ally.keystyle": "nested",
     "i18n-ally.sortKeys": true,
     "i18n-ally.keepFulfilled": true,
-    "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
+    "i18n-ally.sourceLanguage": "en", // 根据此语言文件翻译其他语言文件的变量和内容
     "i18n-ally.displayLanguage": "en", // 显示语言
 }
diff --git a/docSite/content/docs/course/data_search.md b/docSite/content/docs/course/data_search.md
@@ -56,7 +56,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 ### 检索方案
 
-1. 通过`问题补全`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
+1. 通过`问题优化`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
 2. 通过`Concat query`来增加`Rerank`连续对话的时，排序的准确性。
 3. 通过`RRF`合并方式，综合多个渠道的检索效果。
 4. 通过`Rerank`来二次排序，提高精度。
@@ -97,7 +97,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 #### 结果重排
 
-利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题补全后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
+利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题优化后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
 
 FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结果进行合并，得到最终的搜索结果。
 
@@ -115,7 +115,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 该值仅在`语义检索`或使用`结果重排`时生效。
 
-### 问题补全
+### 问题优化
 
 #### 背景
 
@@ -125,7 +125,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 ![](/imgs/coreferenceResolution2.jpg)
 
-用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题补全】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
+用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
 
 ![](/imgs/coreferenceResolution3.jpg)
 

diff --git a/docSite/content/docs/development/configuration.md b/docSite/content/docs/development/configuration.md
@@ -13,163 +13,7 @@ weight: 708
 
 这个配置文件中包含了系统级参数、AI 对话的模型、function 模型等……
 
-## 4.6.8 以前版本完整配置参数
-
-**使用时，请务必去除注释！**
-
-以下配置适用于V4.6.6-alpha版本以后
-
-```json
-{
-  "systemEnv": {
-    "vectorMaxProcess": 15, // 向量生成最大进程，结合数据库性能和 key 来设置
-    "qaMaxProcess": 15,  // QA 生成最大进程，结合数据库性能和 key 来设置
-    "pgHNSWEfSearch": 100  // pg vector 索引参数，越大精度高但速度慢
-  },
-  "chatModels": [ // 对话模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "inputPrice": 0, // 输入价格。 xx元/1k tokens
-      "outputPrice": 0, // 输出价格。 xx元/1k tokens
-      "maxContext": 16000, // 最大上下文长度
-      "maxResponse": 4000, // 最大回复长度
-      "quoteMaxToken": 2000, // 最大引用内容长度
-      "maxTemperature": 1.2, // 最大温度值
-      "censor": false, // 是否开启敏感词过滤(商业版)
-      "vision": false, // 支持图片输入
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 8000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 4000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4-vision-preview",
-      "name": "GPT4-Vision",
-      "maxContext": 128000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 100000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": true,
-      "defaultSystemChatPrompt": ""
-    }
-  ],
-  "qaModels": [ // QA 生成模型
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "inputPrice": 0,
-      "outputPrice": 0
-    }
-  ],
-  "cqModels": [ // 问题分类模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true, // 是否支持openai的 toolChoice， 不支持的模型需要设置为 false，会走提示词生成
-      "functionPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "extractModels": [ // 内容提取模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "qgModels": [ // 生成下一步指引
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 1600,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0
-    }
-  ],
-  "vectorModels": [ // 向量模型
-    {
-      "model": "text-embedding-ada-002",
-      "name": "Embedding-2",
-      "inputPrice": 0,
-      "defaultToken": 700,
-      "maxToken": 3000
-    }
-  ],
-  "reRankModels": [], // 重排模型,暂时填空数组
-  "audioSpeechModels": [
-    {
-      "model": "tts-1",
-      "name": "OpenAI TTS1",
-      "inputPrice": 0,
-      "baseUrl": "",
-      "key": "",
-      "voices": [
-        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
-        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
-        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
-        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
-        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
-        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
-      ]
-    }
-  ],
-  "whisperModel": {
-    "model": "whisper-1",
-    "name": "Whisper1",
-    "inputPrice": 0
-  }
-}
-```
-
-## 4.6.8 新配置文件
+## 4.6.8+ 版本新配置文件
 
 llm模型全部合并
 
@@ -189,11 +33,10 @@ llm模型全部合并
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "inputPrice": 0, 
-      "outputPrice": 0,
+      "charsPointsPrice": 0, 
       "censor": false,
       "vision": false, // 是否支持图片输入
-      "datasetProcess": false, // 是否设置为知识库处理模型
+      "datasetProcess": false, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
       "toolChoice": true, // 是否支持工具选择
       "functionCall": false, // 是否支持函数调用
       "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
@@ -208,8 +51,7 @@ llm模型全部合并
       "maxResponse": 16000,
       "quoteMaxToken": 13000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": true,
@@ -227,8 +69,7 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": false,
@@ -246,10 +87,9 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
-      "vision": false,
+      "vision": true,
       "datasetProcess": false,
       "toolChoice": true,
       "functionCall": false,
@@ -263,8 +103,7 @@ llm模型全部合并
     {
       "model": "text-embedding-ada-002",
       "name": "Embedding-2",
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "defaultToken": 700,
       "maxToken": 3000,
       "weight": 100,
@@ -276,8 +115,7 @@ llm模型全部合并
     {
       "model": "tts-1",
       "name": "OpenAI TTS1",
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "voices": [
         { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
         { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
@@ -291,8 +129,7 @@ llm模型全部合并
   "whisperModel": {
     "model": "whisper-1",
     "name": "Whisper1",
-    "inputPrice": 0,
-    "outputPrice": 0
+    "charsPointsPrice": 0
   }
 }
 ```
@@ -313,7 +150,7 @@ llm模型全部合并
         {
             "model": "bge-reranker-base", // 随意
             "name": "检索重排-base", // 随意
-            "inputPrice": 0,
+            "charsPointsPrice": 0,
             "requestUrl": "{{host}}/api/v1/rerank",
             "requestAuth": "安全凭证，已自动补 Bearer"
         }

diff --git a/docSite/content/docs/development/docker.md b/docSite/content/docs/development/docker.md
@@ -110,6 +110,7 @@ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data
 cd 项目目录
 # 创建 mongo 密钥
 openssl rand -base64 756 > ./mongodb.key
+# 600不行可以用chmod 999
 chmod 600 ./mongodb.key
 chown 999:root ./mongodb.key
 # 启动容器

diff --git a/docSite/content/docs/development/one-api.md b/docSite/content/docs/development/one-api.md
@@ -116,8 +116,7 @@ CHAT_API_KEY=sk-xxxxxx
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "inputPrice": 0, 
-      "outputPrice": 0,
+      "charsPointsPrice": 0, 
       "censor": false,
       "vision": false, // 是否支持图片输入
       "datasetProcess": false, // 是否设置为知识库处理模型