收集了某领域内的语料库，利用ChatGLM3进行增量预训练时，数据格式应该是怎么样的？这种无监督的数据格式有什么特殊要求吗？

[Ye-XX]

目前微调时候的数据格式是
{"conversations": [{"role": "user", "content": "类型#裤版型#宽松风格#性感图案#线条裤型#阔腿裤"}, {"role": "assistant", "content": "宽松的阔腿裤这两年真的吸粉不少，明星时尚达人的心头爱。毕竟好穿时尚，谁都能穿出腿长2米的效果宽松的裤腿，当然是遮肉小能手啊。上身随性自然不拘束，面料亲肤舒适贴身体验感棒棒哒。系带部分增加设计看点，还让单品的设计感更强。腿部线条若隐若现的，性感撩人。颜色敲温柔的，与裤子本身所呈现的风格有点反差萌。"}]}

那如果像将chatglm3-6b作为基座进行增量预训练的话，数据格式有什么要求？各位大佬们是怎么处理？

[Ye-XX]

诚邀大家共同讨论。做垂直预训练的数据格式与微调的数据格式会有那些不同？

[zzb1185]

请问问题解决了吗

[Ye-XX]

可以参考LLaMA-Factory框架进行

[zzb1185]

请问解决了吗？我也有这个问题呢

[zhaohai7206]

同求数据格式，有人做过这样训练的吗？