Skip to content

Commit

Permalink
fix reference 1,7,8 (#191)
Browse files Browse the repository at this point in the history
* Update 8.2-模型推理的离线优化.md

* Update 8.2-模型推理的离线优化.md

* Update 8.2-模型推理的离线优化.md

* refine ref for 1.2

* fix 1.2 refer

* fix ref of 1.3

* fix figure num in 1.4

* fix 1.4 ref

* fix 1.4

* fix refer for 1.5

* refine 1.5

* refine cite

* refine 7.1 reference

* refine a bit

* fix 7.3 refer

* fix 7.4 refer format

* fix 7.5 refer

* fix 7.6

* fix 8.1 refer

* fix 8.2

* fix 8.3

* fix 8.4

* fix 8.5

* fix 8.6
  • Loading branch information
YanjieGao authored Jul 3, 2022
1 parent 322c800 commit 4e99702
Show file tree
Hide file tree
Showing 16 changed files with 832 additions and 710 deletions.

Large diffs are not rendered by default.

Original file line number Diff line number Diff line change
Expand Up @@ -3,7 +3,7 @@

# 1.3 深度学习系统组成与生态

就如 Jeff Dean 所描述的那样--过去是深度学习计算机系统和应用的黄金十年 “[A Golden Decade of Deep Learning: Computing Systems & Applications](https://direct.mit.edu/daed/article/151/2/58/110623/A-Golden-Decade-of-Deep-Learning-Computing-Systems)”。
就如 Jeff Dean 所描述的那样--过去是深度学习计算机系统和应用的黄金十年 “[A Golden Decade of Deep Learning: Computing Systems & Applications](https://direct.mit.edu/daed/article/151/2/58/110623/A-Golden-Decade-of-Deep-Learning-Computing-Systems)[<sup>[1]</sup>](#goldenage)

通过之前深度学习的发展介绍,以及模型,硬件与框架的趋势介绍,我们已经了解了深度学习系统的重要性。那么本章将介绍深度学习系统的设计目标,组成和生态,让读者形成人工智能系统的知识体系,为后续展开每个章节的内容做好铺垫。

Expand Down Expand Up @@ -62,16 +62,16 @@
- 可扩展的网络栈:RDMA,InifiBand,NVLink 等。

<center><img src="./img/3/3-3-1-dl-sys-stack.png" /></center>
<center>图 1-3-1. 深度学习系统的大致组成</center>
<center>图 1.3.1 深度学习系统的大致组成</center>

我们将图 1-3-1 中的大致组成可以进一步细化为图 1-3-2 深度学习系统详图,由于篇幅所限其中还有很多系统技术点与方向没有罗列,我们将在后续对应章节详细介绍。我们可以看到深度学习系统整体的技术栈包罗万象且复杂,且由硬件到软件层有多个层次,形成系统化和层次化看系统的视角对未来理解程序是如何在底层系统执行,并做系统性能预估与技术选型至关重要。
我们将图 1.3.1 中的大致组成可以进一步细化为图 1.3.2 深度学习系统详图,由于篇幅所限其中还有很多系统技术点与方向没有罗列,我们将在后续对应章节详细介绍。我们可以看到深度学习系统整体的技术栈包罗万象且复杂,且由硬件到软件层有多个层次,形成系统化和层次化看系统的视角对未来理解程序是如何在底层系统执行,并做系统性能预估与技术选型至关重要。

<center><img src="./img/3/3-3-3-deeplearningsysstack.png" /></center>
<center>图 1-3-2. 深度学习系统详图</center>
<center>图 1.3.2 深度学习系统详图</center>

## 1.3.3 深度学习系统生态

除了以上重要的深度学习系统构成之外,随着人工智能应用越来越广泛,我们还可以看到更广泛的人工智能系统生态的构成。如图 1-3-3 所示,其中包含以下领域:
除了以上重要的深度学习系统构成之外,随着人工智能应用越来越广泛,我们还可以看到更广泛的人工智能系统生态的构成。如图 1.3.3 所示,其中包含以下领域:

- 核心系统软硬件
- 深度学习任务运行和优化环境:提供更高的运行时性能,资源隔离与调度。
Expand All @@ -82,13 +82,13 @@
- 多种深度学习框架的支持与进化:提供更多样的框架的统一支持与优化。
- 深度神经网络编译架构及优化:提供更优化的编译支持,提升模型的性能,正确性等。
- 更广泛的人工智能系统生态
- 机器学习新模式(例如强化学习):提供新训练范式的灵活部署与同步支持等。
- 机器学习新模式(例如,强化学习):提供新训练范式的灵活部署与同步支持等。
- 自动机器学习(例如自动化机器学习):提供多任务的高效管理与调度支持,支持搜索空间定义的程序语言等。
- 安全(Security)与隐私(Privacy):人工智能模型与应用的安全与隐私保护支持。
- 模型推理(Inference)、压缩(Compression)与优化:基于深度学习特有性质进行高效的模型的训练与部署。

<center><img src="./img/3/3-3-2-dl-ecosystem.png" /></center>
<center>图 1-3-3. 深度学习系统生态</center>
<center>图 1.3.3 深度学习系统生态</center>

我们将在后续章节围绕更广泛的人工智能系统生态中的重要内容展开介绍。

Expand All @@ -99,11 +99,8 @@
请读者思考深度学习系统中有哪些新挑战和问题是传统系统所不具备的?

## 参考文献
- https://github.com/microsoft/nnfusion
- https://github.com/microsoft/pai
- https://github.com/microsoft/MMdnn
- https://mlflow.org/
- https://relay.dev/
- https://www.tensorflow.org/tensorboard
- https://github.com/microsoft/nni
- https://docs.ray.io/en/latest/rllib.html

<div id="goldenage"></div>

1. [Jeffrey Dean; A Golden Decade of Deep Learning: Computing Systems & Applications. Daedalus 2022; 151 (2): 58–74.]()

Loading

0 comments on commit 4e99702

Please sign in to comment.