关于消融实验的问题

[MingboDuan]

作者，您好！对于SIRST3数据集，我以U-Net为baseline（相比您的网络模型中编码器采用残差块，解码器采用CCA+2层CBL，以及跨层特征融合采用SCTB模块），我不断删减去除得到U-Net。但是在训练时指标值偏高，mIoU能达到0.8108（此时任何模块均未添加），数据集本身也没有出现问题！ 想请问下出现这种问题的话，该怎么处理？消融实验在一定程度上也会比较难做了！

[xdFai]

0.81 确实非常高了，深监督有开启吗，再有就是有没有对标当前结构和标准U-Net具体还存在哪些差异

[MingboDuan]

作者，您好！有无深监督，在我训练时发现对指标影响不是很大！当前结构相比标准U-Net在我检查时并无发现明显的差异！在此说明下，上面所说的mIoU指标值为0.81，是呈现出的best值，但我发现在训练时出现了过拟合现象（在训练的后面，testloss不断上升，但mIoU开始趋于平稳）如下图所示。那出现这种情况是否正常？会不会是因为SIRST3数据集量太少导致的呢？以及我们最后要体现的指标值是要采取best值，还是最后稳定值呢？

[xdFai]

同学，您好。有无深监督在我之前训练也会影响到一些，不过这个指标确实偏高了，我之前训练的一些其他检测模型mIOU上81的都不多。
关于拟合的问题确实会存在，不过SIRST3相对于单个数据集已经的包含较多的优质数据集了。mIOU一般会选用best数值。

[MingboDuan]

这个问题困扰我很久了，导致目前消融实验很难去实施!那如果按作者您这么说的话，模型本身的训练策略（先在训练集，后在测试集上呈现指标）有无问题?以及作者您当时做消融时有无保存最初改成UNet的代码，可不可以分享下?

…

---原始邮件--- 发件人: "Shuai ***@***.***> 发送时间: 2024年10月10日(周四) 上午8:11 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [xdFai/SCTransNet] 关于消融实验的问题 (Issue #15) 同学，您好。有无深监督在我之前训练也会影响到一些，不过这个指标确实偏高了，我之前训练的一些其他检测模型mIOU上81的都不多。 关于拟合的问题确实会存在，不过SIRST3相对于单个数据集已经的包含较多的优质数据集了。mIOU一般会选用best数值。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[xdFai]

其实也不用太纠结，确保代码无误，按照你自己做出来的结果来就行，有些人 复现SCTrans IOU也才刚刚到81。

[MingboDuan]

嗯，好!感谢作者的解答

…

---原始邮件--- 发件人: "Shuai ***@***.***> 发送时间: 2024年10月10日(周四) 上午8:41 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [xdFai/SCTransNet] 关于消融实验的问题 (Issue #15) 其实也不用太纠结，确保代码无误，按照你自己做出来的结果来就行，有些人 复现SCTrans IOU也才刚刚到81。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[xdFai]

客气啦~