Online的遗忘问题

[hyskylord]

我不确定是否是我的设置有问题，目前我在V3和V4的online phase中都出现了若干步（3M，Total Step8M）之后到达峰值（此时V4对战V3数据avg_pt~1.3，符合文档中对强度的测试），之后表现下降的现象。虽然此时停止训练已经能获得较好的结果，但是我希望能继续推进训练并提高模型的表现。

根据一般RL中解决遗忘的一些方法，我在V3中尝试了随时间降低lr、epsilon和temperature，并设置了比较高的sample reuse rate等等操作，最后也只能做到稍微延缓，并没有解决这个问题。

另外我注意到V4已经移除了sample reuse部分的代码，是否也是实验中效果不佳的结果？

EDIT：经过进一步的实验，如果boltzman_epsilon继续减小，则模型表现可以达到稳定，在更多的训练中没有下降（但也没有上升）。有两种不同的猜想：
（1）模型已经收敛，只是boltzman_epsilon比较大时存在一些稳定性问题。
（2）模型仍未收敛，但是因为boltzman_epsilon太小而无法进一步学习。

2024/9/3 EDIT: 添加一些参考对局，分别展示了现象发生前，训练6小时后，训练24小时后的对局。经过24小时后PT骤降至-60，可以认为是非常异常的现象。
Before_forgetting.json

After_6hours.json
After_24hours.json

我发现的是模型遗忘之后各个动作的Q值非常接近，这可能进一步导致了模型无法准确采样。

其他项目中类似的现象：
（1）Lunar Lander：链接1，表现为agent着陆失败后不再尝试着陆。链接2展示了一些不同采样方法的对比，受其影响我尝试了一些不同的采样策略，但是没什么效果。
（2）CartPole：链接2，这里提到overfitting 可能是造成问题的原因，因此我尝试了相关方法，但是效果不大。
（3）Drone simulator for collision avoidance：链接3同样提到了采样方法的问题。

另外补充目前尝试过的有一定作用的策略：
（1）调整boltzmann_epsilon和boltzmann_temp。其中如果boltzmann_temp设置为0，则模型表现退化很慢，但并没有什么提升。
（2）进行了一些关于overfitting的对策，包括提高weight_decay以及加入dropout。对模型性能产生了一些积极影响，但是结果并没有改变模型遗忘的现象。
（3）增加batch_size以及opt_step_every，有一定效果
（4）大幅降低lr。目前我已经尝试将lr设置为1e-10，较为有效的防止了这一现象，但是并没有解决问题。
（5）改变Baseline。有一定效果。
（6）改变采样策略。有一定效果。
（7）减少train_play大小。有一定效果。

其他参考链接：
链接4

[Equim-chan]

无论是 on-policy 还是 off-policy 都是不建议 reuse sample 的，能用新鲜的就用新鲜的。

[hyskylord]

之前考虑reuse sample的原因是单台机器训练的时候样本消耗速度比样本的生产速度大很多，这个时候reuse sample应该可以加快学习的速度？后来我还是选择了多配置另外一台client来生产样本。

最近我尝试了冻结mortal的大部分参数而只保留最后一个block用于训练，结果观察到了performance先下降后回升的现象。所以我推测我的问题实际上可以通过足够多的训练数据解决，但是可能超出了目前我拥有的gpu的能力（可能需要50M以上的训练量）。

想请问下你是否遇到过类似的问题，后来又是如何解决的。

[Equim-chan]

有关训练速度的问题，我觉得可以从另一个角度来看。reuse sample 之类的做法或许能让训练的速度(单位训练时间消耗的 sample)更快，但从训练的 wall time (单位训练时间提升的 test play 平顺)效率上讲可能未必有提升，甚至还可能退化。

在我这边这种冻结大部分参数只训练某些部分的方法在实验中从来没有取得过好的效果。

[hyskylord]

经过一些实验我发现加入Dropout之后问题基本得到了解决：

            self.res_unit = nn.Sequential(
                nn.Conv1d(channels, channels, kernel_size=3, padding=1, bias=False),
                self.dropout, # only for online
                norm_builder(),
                actv_builder(),
                nn.Conv1d(channels, channels, kernel_size=3, padding=1, bias=False),
                self.dropout, # only for online
                norm_builder(),
            )

我推测这是因为dropout补偿了online训练时freeze_bn损失的正则化效果。

另外关于超参数，根据这个帖子对policy做一些退火处理似乎更能保证理论上的稳定性：

train_player.boltzmann_epsilon = boltzmann_epsilon / (1 + steps * 1e-7)

实际中这样做epsilon变化很小，所以我还在观察长期的效果。

[Equim-chan]

这个 Dropout 的加入带来的提升有多大呢？

[hyskylord]

在我的测试模型上经过大概1M个样本后在峰值上的avg_pt提高了大约0.3~0.4。

然而经过更长期的训练后我发现模型的表现仍然有一定下降，所以推翻了上个回复的结论（问题仍未解决）。似乎无论如何都很难调整模型使得其不需要依赖于人为的early stopping。