BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation 在Pytorch当中的实现

---

目录

1. 仓库更新 Top News
2. 所需环境 Environment
3. 文件下载 Download
4. 预测步骤 How2predict
5. 参考资料 Reference

Top News

2024-01:创建仓库，支持简单预测与NP实现的简单Attention。

所需环境

torch==1.7.1以上

文件下载

训练所需的pth可以在百度网盘下载。
链接: https://pan.baidu.com/s/1Wx6COhH-iZY1TLKObwCV-g?pwd=u6ed
提取码: u6ed

预测步骤

a、使用预训练权重

1. 下载完库后解压，在百度网盘下载权值，放入model_data
2. 运行predict_generate.py。
3. 运行predict_itm.py.
4. predict_features.py

Reference

https://github.com/salesforce/BLIP