关于微调数据量

[CNXDZS]

作者好，目前打算基于bge-m3模型做垂直领域微调，有几个疑惑。
1.分别做全参和lora微调，微调数据的数据量您这边有好的建议吗？
2.微调数据需要专业数据和通用数据按照一定比例混合吗？
感谢！

[PineREN]

有问到或者查到吗？我也有相同的疑问

[CNXDZS]

有问到或者查到吗？我也有相同的疑问

数据量和是否需要混合还没有查到。但是看了下代码，bge-m3属于encoder_only结构，项目里貌似不支持这种结构的lora微调。

[PineREN]

我用了四十万条数据训练试试，没有混合通用数据，看看结果。