还是[gMASK]和sop的问题

[wencan]

准备为特定任务微调chatglm

model: chatglm3-6b-base (4bits)

执行：

inputs = tokenizer(['今天天气一般啊'], return_tensors='pt').to('cuda')
tokenizer.decode(inputs['input_ids'][0].tolist())

输出：

[gMASK]sop 今天天气一般啊

看了 #183 (comment) ：
gmask 表示后续为 auto-regressive 生成，sop 表示每个 auto-regressive 补全片段的开始，eop 表示补全片段的结束

可这段文本不是生成的啊
而且有了sop，没见eop

[zRzRzRzRzRzRzR]

就是因为不是文本生成的所以没有eop啊

[zhiguoxu]

为啥会有[gMASK]sop 这个东西加在前面啊，导致 encode 和 decode 的内容对不上。。。

[zRzRzRzRzRzRzR]

这个是特殊词表

[zhiguoxu]

感谢回答，还有个问题，为什么在finetune 代码中

def process_batch(
        batch: Mapping[str, Sequence],
        tokenizer: PreTrainedTokenizer,
        max_input_length: int,
        max_output_length: int,
) -> dict[str, list]:
    batched_tools = batch.get('tools', None)
    batched_conv = batch['conversations']
    batched_input_ids = []
    batched_labels = []

    if batched_tools is None:
        batched_tools = [None] * len(batched_conv)

    for tools, conv in zip(batched_tools, batched_conv):
        input_ids, loss_masks = [
            tokenizer.get_command('[gMASK]'),
            tokenizer.get_command('sop'),
        ], [False, False]

        if tools is not None:
            raise NotImplementedError()

        for message in conv:
            if message['role'] in ('system', 'user'):
                loss_mask_val = False
            else:
                loss_mask_val = True

            if message['role'] == 'tool':
                raise NotImplementedError()
            else:
                new_input_ids = tokenizer.build_single_message(
                    message['role'], '', message['content']
                )
                new_loss_masks = [loss_mask_val] * len(new_input_ids)

            input_ids += new_input_ids
            loss_masks += new_loss_masks

        input_ids.append(tokenizer.eos_token_id)
        loss_masks = [False, *loss_masks]
        labels = []
        for input_id, mask in zip(input_ids, loss_masks):
            if mask:
                labels.append(input_id)
            else:
                labels.append(-100)
        max_length = max_input_length + max_output_length + 1
        batched_input_ids.append(input_ids[:max_length])
        batched_labels.append(labels[:max_length])
    return {'input_ids': batched_input_ids, 'labels': batched_labels}

还要加 [gMASK] 和 sop，另外 decode 出来的除了 [gMASK] 和 sop看起来还有一个空格？

[zRzRzRzRzRzRzR]

[gMASK]空格sop空格
输出的时候应该是这样的

[zhiguoxu]

构造微调数据的时候，每次调用encode，产生的[gMASK] 和 sop有什么用处呢，看不太懂，另外在 finetune 的process_batch 函数中<|assistant|>这个 role 的 loss 是不是也要 mask 掉？finetune 的process_batch 函数中

input_ids.append(tokenizer.eos_token_id)
loss_masks = [False, *loss_masks]

这两行代码是啥意思没看懂，为什么一个加在前面，一个在后面