Skip to content

Latest commit

 

History

History
 
 

request_llms

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
README.md
README.md
 
 
bridge_all.py
bridge_all.py
 
 
bridge_chatglm.py
bridge_chatglm.py
 
 
bridge_chatglm3.py
bridge_chatglm3.py
 
 
bridge_chatglmft.py
bridge_chatglmft.py
 
 
bridge_chatglmonnx.py
bridge_chatglmonnx.py
 
 
bridge_chatgpt.py
bridge_chatgpt.py
 
 
bridge_chatgpt_vision.py
bridge_chatgpt_vision.py
 
 
bridge_chatgpt_website.py
bridge_chatgpt_website.py
 
 
bridge_claude.py
bridge_claude.py
 
 
bridge_cohere.py
bridge_cohere.py
 
 
bridge_deepseekcoder.py
bridge_deepseekcoder.py
 
 
bridge_google_gemini.py
bridge_google_gemini.py
 
 
bridge_internlm.py
bridge_internlm.py
 
 
bridge_jittorllms_llama.py
bridge_jittorllms_llama.py
 
 
bridge_jittorllms_pangualpha.py
bridge_jittorllms_pangualpha.py
 
 
bridge_jittorllms_rwkv.py
bridge_jittorllms_rwkv.py
 
 
bridge_llama2.py
bridge_llama2.py
 
 
bridge_moonshot.py
bridge_moonshot.py
 
 
bridge_moss.py
bridge_moss.py
 
 
bridge_newbingfree.py
bridge_newbingfree.py
 
 
bridge_ollama.py
bridge_ollama.py
 
 
bridge_qianfan.py
bridge_qianfan.py
 
 
bridge_qwen.py
bridge_qwen.py
 
 
bridge_qwen_local.py
bridge_qwen_local.py
 
 
bridge_skylark2.py
bridge_skylark2.py
 
 
bridge_spark.py
bridge_spark.py
 
 
bridge_stackclaude.py
bridge_stackclaude.py
 
 
bridge_taichu.py
bridge_taichu.py
 
 
bridge_tgui.py
bridge_tgui.py
 
 
bridge_zhipu.py
bridge_zhipu.py
 
 
chatglmoonx.py
chatglmoonx.py
 
 
com_google.py
com_google.py
 
 
com_qwenapi.py
com_qwenapi.py
 
 
com_skylark2api.py
com_skylark2api.py
 
 
com_sparkapi.py
com_sparkapi.py
 
 
com_taichu.py
com_taichu.py
 
 
com_zhipuglm.py
com_zhipuglm.py
 
 
edge_gpt_free.py
edge_gpt_free.py
 
 
key_manager.py
key_manager.py
 
 
local_llm_class.py
local_llm_class.py
 
 
oai_std_model_template.py
oai_std_model_template.py
 
 
queued_pipe.py
queued_pipe.py
 
 
requirements_chatglm.txt
requirements_chatglm.txt
 
 
requirements_chatglm_onnx.txt
requirements_chatglm_onnx.txt
 
 
requirements_jittorllms.txt
requirements_jittorllms.txt
 
 
requirements_moss.txt
requirements_moss.txt
 
 
requirements_newbing.txt
requirements_newbing.txt
 
 
requirements_qwen.txt
requirements_qwen.txt
 
 
requirements_qwen_local.txt
requirements_qwen_local.txt
 
 
requirements_slackclaude.txt
requirements_slackclaude.txt
 
 

README.md

P.S. 如果您按照以下步骤成功接入了新的大模型，欢迎发Pull Requests（如果您在自己接入新模型的过程中遇到困难，欢迎加README底部QQ群联系群主）

如何接入其他本地大语言模型

  1. 复制request_llms/bridge_llama2.py，重命名为你喜欢的名字

  2. 修改load_model_and_tokenizer方法，加载你的模型和分词器（去该模型官网找demo，复制粘贴即可）

  3. 修改llm_stream_generator方法，定义推理模型（去该模型官网找demo，复制粘贴即可）

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果

如何接入其他在线大语言模型

  1. 复制request_llms/bridge_zhipu.py，重命名为你喜欢的名字

  2. 修改predict_no_ui_long_connection

  3. 修改predict

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果