• NVIDIA Deep Learning Institute - Education and training solutions to solve the world’s greatest challenges
  • Learning Paths for Developers and Administrators. [PDF]
  • Course Detail - 這個免費課程有證書可以拿哦 :-)
• Learn New Technical Skills - Free NVIDIA Deep Learning Institute (DLI) courses for beginners.

---

NVIDIA 免費 AI 線上課程

Part 1

• Generative AI Explained / 解釋生成式 AI

  課程內容：

  • 生成式 AI 的定義、工作原理
  • 各種生成式 AI 應用
  • 生成式 AI 的挑戰和機會

  課前要求：對機器學習和深度學習有基本的瞭解。

• Building A Brain in 10 Minutes / 10 分鐘內構建「大腦」

  課程內容：

  • 神經網路如何使用資料進行學習
  • 神經元背後的數學原理

  課前要求：

  • 瞭解 Python 3 中的基本程式設計概念，如函式、迴圈、字典和陣列；
  • 瞭解如何計算迴歸線。

• Augment your LLM Using Retrieval Augmented Generation / 使用 RAG 增強 LLM 性能

  課程內容：

  • RAG 基礎知識
  • RAG 檢索過程
  • NVIDIA AI 基礎和 RAG 模型元件

• Building RAG Agents with LLMs / 使用 LLM 構建 RAG 智慧體

  課程內容：

  • 探索 LLM 和向量資料庫的可擴充套件部署策略
  • 學習微服務知識，掌握如何在微服務之間協作以及如何開發屬於自己的微服務
  • 利用 LangChain 正規化來開發對話管理和文件檢索解決方案
  • 用最先進的模型練習，明確有關產品化和框架探索的後續步驟

  適合熟悉 LLM 及其相關組合框架 (如 LangChain)，具有中級 Python 水準，最好具備網路工程和開發維運背景。

• Accelerate Data Science Workflows with Zero Code Changes / 零程式碼更改加速資料科學工作流

  課程內容：

  • 瞭解跨 CPU 和 GPU 的制式工作流在資料科學任務中的優勢
  • 學習如何在不更改程式碼的情況下，利用 GPU 加速各種資料處理和機器學習工作流程
  • 體驗當工作流程透過 GPU 加速時，處理時間顯著縮短的效果

  課前要求：

  • 對表格資料上的資料處理和標準資料科學工作流程有基本的理解
  • 有使用常見 Python 資料分析庫的經驗
  • 使用過 NVIDIA RAPIDS (cuDF, cuML, cuGraph)、pandas、scikit-learn 和 NetworkX

• How to Perform Large-Scale Image Classification / 如何進行大規模影像分類

  課程內容：如何進行大規模影像分類，涵蓋挑戰、建模技術和驗證策略。

  適合資料科學家、機器學習從業者以及對深度學習感興趣的人觀看。

• Mastering Recommender Systems / 掌握推薦系統

  課程內容：NVIDIA Kaggle Grandmasters 構建電子商務推薦系統的策略， 內容涵蓋 2 階段模型、候選模型生成、特徵工程和整合方法。

  適合資料科學家、機器學習工程師以及對推薦系統和資料科學感興趣的人觀看。

• Introduction to AI in the Data Center / 資料中心的 AI

  課程內容：

  • AI 案例、機器學習、深度學習及其工作流程
  • GPU 架構及其對 AI 的影響
  • 深度學習框架和部署注意事項

• Introduction to Networking / 網路技術入門

  課程內容：

  • 瞭解網路及其重要性。
  • 探索乙太網基礎知識及乙太網網路中的資料轉發。
  • 討論網路元件、需求、OSI 模型、TCP/IP 協議。

Part 2

• Mastering GitHub Copilot for AI Paired Programming
• Multi GPU Programming Models
• nvCOMP docs and examples
• NVIDIA AI Workbench
  • How to customize a Stable Diffusion XL (SDXL) model
  • How to fine-tune a Llama v2 7B large language model
  • How to p-tune and prompt tune a NeMo-Megatron LLM using the NeMo Framework
  • How to train a Large Language Model to annotate large sections of text with realistic punctuation and capitalization using the NeMo Framework
  • Short introduction of the cuDF library
  • Short introduction of the cuML library
• NVIDIA BioNeMo Examples
• NVIDIA Deep Learning Examples for Tensor Cores
• NVIDIA Generative AI Examples
• NVIDIA Grace CPU Benchmarking Guide
• OptiX Toolkit (OTK) Examples
• RAPIDS Accelerator for Apache Spark examples

---

My Collection

• 100 Days of ML Coding
• RAG using Llama 3 by Meta AI
  In this studio we are building a completely self-hosted "Chat with your Docs" RAG application using Llama-3, served locally through Ollama.
• RAG Techniques
  內容涵蓋各種先進的 RAG 技術，採用範例程式碼（LangChain、LlamaIndex）來詳細解說每個技術的核心概念
• GenAI Agents
  提供了從基礎到高級的各種生成式 AI 代理技術的教學和實作
• Transformers Tutorials
  這份線上教學手冊是 Niels Rogge 所收集的 40 多種各式各樣的任務模型/演算法的程式範例
• Umar Jamil 的機器學習教學影片
• Ilya Sutskever 的機器學習推薦清單

LLMs

• Stanford CS229 | Machine Learning | Building Large Language Models (LLMs)
• LLM Twin Course: Building Your Production-Ready AI Replica
• End-to-end LLM Workflows Guide
• A Survey of Large Language Models
• A Comprehensive Overview of Large Language Models
• A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More
• Foundational Challenges in Assuring Alignment and Safety of Large Language Models
• Awesome Generative AI Guide
• OpenAI Cookbook
• The three-part series on how Imbue trained their 70B model
  • Training a 70B model from scratch: open-source tools, evaluation datasets, and learnings
  • Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model
  • From bare metal to a 70B model: infrastructure set-up and scripts
  • Open-sourcing CARBS: how we used our hyperparameter optimizer to scale up to a 70B-parameter language model
• Andrej Karpathy
  • llm.c - LLM training in simple, raw C/CUDA
  • llama2.c - Inference Llama 2 in one file of pure C
  • nanoGPT - The simplest, fastest repository for training/finetuning medium-sized GPTs

Misc.

• NVIDIA NIM
• NVIDIA NeMo
• NeMo: a toolkit for building AI applications using Neural Modules
• ChipNeMo: Domain-Adapted LLMs for Chip Design
  • See also: SemiKong and SemiKong's github

• LLM Engineer's Handbook: Master the art of engineering Large Language Models from concept to production
• Build a Large Language Model (From Scratch)
• Understanding Large Language Models: Towards Rigorous and Targeted Interpretability Using Probing Classifiers and Self-Rationalisation. [PDF]