微调过程中的收敛问题

[tianbo-che]

我在bge-m3-v2-ranker上增加我自己的数据微调模型。使用脚本提供的默认参数进行训练。
我的LOSS图开起来不太正常，LOSS除了最开始波动之外，后续训练过程中一直在1.3左右。

望解答

[545999961]

loss突然变得很高，中间模型似乎训崩了。
可以打印出损失较高那几步的数据，检查数据质量是否过低。如果数据质量没有问题，可以尝试降低学习率解决。

[BaLuoBooo]

我在bge-m3-v2-ranker上增加我自己的数据微调模型。使用脚本提供的默认参数进行训练。 我的LOSS图开起来不太正常，LOSS除了最开始波动之外，后续训练过程中一直在1.3左右。

望解答

请问一下你是用Flagembedding提供的脚本跑的么？每轮的loss数值你是怎么得到的啊？用脚本跑每次只再日志中有，本地拿不到离线数据。

[tianbo-che]

loss突然变得很高，中间模型似乎训崩了。 可以打印出损失较高那几步的数据，检查数据质量是否过低。如果数据质量没有问题，可以尝试降低学习率解决。

感谢，我降低学习率解决了。看起来bge-m3-v2-rerank是一个已经收敛的模型，不能用太大的学习率，要不然会跳出LOSS极小值的区域。

[tianbo-che]

我将学习率降低到1e-7，收敛的问题解决了。整体loss=0.02左右。不过我在测试集上的F1大幅降低了，由0.7降低到了0.3左右~

有大佬帮我看下我的问题吗，我的训练数据质量看着还可以，示例如下：

[tianbo-che]

我在bge-m3-v2-ranker上增加我自己的数据微调模型。使用脚本提供的默认参数进行训练。 我的LOSS图开起来不太正常，LOSS除了最开始波动之外，后续训练过程中一直在1.3左右。
望解答

请问一下你是用Flagembedding提供的脚本跑的么？每轮的loss数值你是怎么得到的啊？用脚本跑每次只再日志中有，本地拿不到离线数据。

没太懂你的意思，你是要画LOSS图吗。我是用的wandb监控LOSS走势

[545999961]

我将学习率降低到1e-7，收敛的问题解决了。整体loss=0.02左右。不过我在测试集上的F1大幅降低了，由0.7降低到了0.3左右~

有大佬帮我看下我的问题吗，我的训练数据质量看着还可以，示例如下：

neg随机选择吧，有些neg看起来和query很相似，比如“拦截了没？”，“我已经拦截啦”