你可以在这里找到BELLE的官方Notebooks实现列表
你可以在colab里面打开这里任何一个notebooks (notebook最上面提供了打开colab的按钮) ,你也可以在下面链接打开它们:
Notebook | Description | Colab |
---|---|---|
BELLE-GPTQ Colab推理 | 提供了BELLE 4bit量化的BLOOM模型在Colab运行的示例代码 ,该代码运行时内存最高消费8G,GPU显存只需要10G即可运行,当然你本地机器如果满足上述硬件条件,也可以将Notebook下载到本地运行。 |
BELLE不同模型运行时,需要满足的最低硬件配置条件
Model | Description | RAM | GPU |
---|---|---|---|
bloom7b-2m-4bit-128g.pt | BELLE BLOOM 7B 200万训练数据版4bit量化后权重 | 8G | 10G |