天池 疫情相似句对判定大赛 线上第一名方案

Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb/QLoRA quantization

Several simple examples for popular neural network toolkits calling custom CUDA operators.

torch-optimizer -- collection of optimizers for Pytorch

中国大模型

中文nlp解决方案(大模型、数据、模型、训练、推理)

We unified the interfaces of instruction-tuning data (e.g., CoT data), multiple LLMs and parameter-efficient methods (e.g., lora, p-tuning) together for easy use. We welcome open-source enthusiasts…

基于ChatGLM-6B的中文问诊模型

MNBVC General Cleaning Script for the Q&A Dataset of Foreign Ministry Journalists

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

Execute Megatron-DeepSpeed using Slurm for multi-nodes distributed training

从预训练到强化学习的中文llama2

开源SFT数据集整理,随时补充

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

Deep Reinforcement Learning

dialogbot, provide search-based dialogue, task-based dialogue and generative dialogue model. 对话机器人，基于问答型对话、任务型对话、聊天型对话等模型实现，支持网络检索问答，领域知识问答，任务引导问答，闲聊问答，开箱即用。

Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

Panda项目是于2023年5月启动的开源海外中文大语言模型项目，致力于大模型时代探索整个技术栈，旨在推动中文自然语言处理领域的创新和合作。

中文无监督SimCSE Pytorch实现

SimCSE在中文任务上的简单实验

bert_avg，bert_whitening，sbert，consert，simcse，esimcse 中文句向量表示

主要是我是日常看过的不错的文章的资源汇总，方便自己也分享给大家。有些我看过的，就会做简单的解读，没看过的，就先罗列一下，然后之后看了把解读更新上；涉及到搜索/推荐/自然语言处理。

NLP句子编码、句子embedding、语义相似度：BERT_avg、BERT_whitening、SBERT、SmiCSE

中文自然语言推理数据集（A large-scale Chinese Nature language inference and Semantic similarity calculation Dataset）

自然语言处理（nlp），小姜机器人（闲聊检索式chatbot），BERT句向量-相似度（Sentence Similarity），XLNET句向量-相似度（text xlnet embedding），文本分类（Text classification）， 实体提取（ner，bert+bilstm+crf），数据增强（text augment, data enhance），同义句同义词生成，句子…

Collections of resources from Joint Laboratory of HIT and iFLYTEK Research (HFL)

Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）

搜索所有中文NLP数据集，附常用英文NLP数据集