Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

frame 256的模型同步性很差 #122

Open
liwang0621 opened this issue Jul 2, 2024 · 6 comments
Open

frame 256的模型同步性很差 #122

liwang0621 opened this issue Jul 2, 2024 · 6 comments

Comments

@liwang0621
Copy link

我是用30个小时的数据进行训练,发现训练到frame 256的模型同步性很差,可以说几乎没啥同步性,这正常吗

@tailangjun
Copy link

你的 frame256和 clip256发个效果看看

@liwang0621
Copy link
Author

@tailangjun
Copy link

你的 frame256和 clip256发个效果看看

frame的结果: https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08

clip的结果: https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多,frame256几乎没有色差,但是嘴型同步差一些

@liwang0621
Copy link
Author

你的 frame256和 clip256发个效果看看

frame的结果: https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08
clip的结果: https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多,frame256几乎没有色差,但是嘴型同步差一些

有啥好的建议吗,clip阶段要么嘴巴很奇怪要么就黑白闪烁,一直没训练出一个差不多的结果

@tailangjun
Copy link

你的 frame256和 clip256发个效果看看

frame的结果: https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08
clip的结果: https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多,frame256几乎没有色差,但是嘴型同步差一些

有啥好的建议吗,clip阶段要么嘴巴很奇怪要么就黑白闪烁,一直没训练出一个差不多的结果

我训练几轮了,也还没训练出满意的版本

@piwawa
Copy link

piwawa commented Oct 30, 2024

你的 frame256和 clip256发个效果看看

frame的结果: https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08
clip的结果: https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多,frame256几乎没有色差,但是嘴型同步差一些

有啥好的建议吗,clip阶段要么嘴巴很奇怪要么就黑白闪烁,一直没训练出一个差不多的结果

我训练几轮了,也还没训练出满意的版本

这网络比起 wav2lip 咋样?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants