[AutoParallel] optimize sharding stage1 tensor fusion save&load strategy

[AndSonder]

PR Category

Auto Parallel

PR Types

Others

Description

1. 为 tensor-fusion 添加开关 enable_stage1_tensor_fusion，该开关和动手对齐用于控制 tensor_fusion 的开关
2. 添加非均匀 save&load 的方案：之前的方案中是将 tensor-fusion 的非均匀参数通信回到均匀状态，但是实际测试中发现 load 的过程中会引入较大的显存增加，非均匀 save&load 方案中给 tensor-fusion 场景下 slice 的参数 修改参数的名字后缀 _rankn 每张卡 slice 参数的名字不一样，这样可以保留每个参数的 metadata 信息，同时避免同名参数的通信。方案支持后添加了 save_unbalanced_param 参数默认打开表示使用非均匀 save&load的方案
3. 优化了均匀 save&load 方案的显存，但是优化后还是会引入较多显存增长，所以默认不使用该方案
4. 补充单测 case

相关 PR：

• [AutoParallel] support sharding tensor-fusion save&load #69823

Pcard-76459

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.