该存储库包含我(布伦丹)的主页,以及许多重要的项目。
它们保存在一个存储库中,以便于部署,并共享一堆 js 实用程序,否则共享起来很麻烦。
主要项目有:
- LLM 可视化:运行推理的 GPT 式 LLM 网络的 3D 交互模型。
- [WIP] CPU 模拟:具有完整执行模型的 2D 数字原理图编辑器,展示基于 RISC-V 的简单 CPU
该项目展示了 GPT 式网络的工作实现的 3D 模型。也就是说,OpenAI 的 GPT-2、GPT-3(也可能是 GPT-4)中使用的网络拓扑。
显示工作权重的第一个网络是一个微型网络,它对字母 A、B 和 C 的小列表进行排序。这是 Andrej Karpathy 的 minGPT实现的演示示例模型。
渲染器还支持可视化任意大小的网络,并可使用较小的 gpt2 大小,但不会下载权重(为 100 MB)。
该项目运行 2D 原理图数字电路,具有成熟的编辑器。目的是添加一些演练,展示诸如以下内容:
- 如何构造一个简单的 RISC-V CPU
- 细至门级的组成部分:指令解码、ALU、加法等
- 更高级别的 CPU 想法,例如各种级别的流水线、缓存等
- 安装依赖项:
yarn
- 启动开发服务器:
yarn dev