🔍 An LLM-based Multi-agent Framework of Web Search Engine (like Perplexity.ai Pro and SearchGPT)

欢迎来到 LLM-Dojo，这里是一个开源大模型学习场所，使用简洁且易阅读的代码构建模型训练框架(支持各种主流模型如Qwen、Llama、GLM等等)、RLHF框架(DPO/CPO/KTO/PPO)等各种功能。👩‍🎓👨‍🎓

百度商业AI技术创新大赛赛道二：广告图片描述生成 Rank3方案分享

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

【大模型】3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

A minimal codebase for finetuning large multimodal models, supporting llava-1.5/1.6, llava-interleave, llava-next-video, qwen-vl, phi3-v etc.

A one-stop data processing system to make data higher-quality, juicier, and more digestible for (multimodal) LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大模型提供更高质量、更丰富、更易”消化“的数据！

🌟 The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming

This is a detailed code demo on how to conduct Full-Param Supervised Fine-tuning (SFT) and DPO (Direct Preference Optimization)

Hefei University of Technology 投稿、举报、监督、咨询Email:[email protected] blog| https://hfut-cheater.github.io 合肥工业大学 安徽 作弊 造假 贪污 论文抄袭 贿赂 包庇 权力寻租 挪用基金 组织舞弊 越南留学生反华 南沙群岛 购买比赛 集体舞弊|作弊封神榜 包庇行政名单

Summarize existing representative LLMs text datasets.

代码大模型 预训练&微调&DPO 数据处理 业界处理pipeline sota

一个简单快速的分词、命名实体识别工具

Train a Chinese LLM From 0 by Personal

《Pytorch实用教程》（第二版）无论是零基础入门，还是CV、NLP、LLM项目应用，或是进阶工程化部署落地，在这里都有。相信在本书的帮助下，读者将能够轻松掌握 PyTorch 的使用，成为一名优秀的深度学习工程师。

EasyNLP: A Comprehensive and Easy-to-use NLP Toolkit

KDD2024-WhoIsWho-Top3

使用 Qwen2ForSequenceClassification 简单实现文本分类任务。

本项目旨在分享大模型相关技术原理以及实战经验。

复盘所有NLP比赛的TOP方案，只关注NLP比赛，持续更新中！

Recursive Abstractive Processing for Tree-Organized Retrieval

看图学大模型

从头预训练一只超迷你 LLaMA 3——复现 TinyStories

RAG的比赛

This is a repository used by individuals to experiment and reproduce the pre-training process of LLM.

这里用来存储做人工智能项目的代码和参加数据挖掘比赛的代码

YAYI 2 是中科闻歌研发的新一代开源大语言模型，采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。(Repo for YaYi 2 Chinese LLMs)