关于base模型的输出问题（小白提问） #702

zzzyoyo · 2024-01-05T14:56:43Z

zzzyoyo
Jan 5, 2024

按照官网给出的代码试着运行了一下base model：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b-base", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b-base", trust_remote_code=True).half().cuda()

inputs = tokenizer(["今天天气真不错"], return_tensors="pt").to('cuda')
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0].tolist()))

得到的输出如下：

有三个问题
1.为什么所有的输出开头都有一个“[gMASK]sop”？是正常的吗？为什么要这样呢？是属于大模型的输出还是用代码固定加上去的呢？
2.当我在generate里面传入max_length参数后，就会不断重复相同的内容：

难道max_length是多少，输出就会有多长吗？不应该是小于等于max_length的某个长度吗？按照我的理解，应该是生成的句子大于max_length的话被截断，小于等于的话就直接输出了，而不是这里看到的小于的话就不断重复生成的内容。
3.我把temperature设为1.5，为什么多次生成的结果还是一样的呢？不是temperature越高随机性就越大吗？
对大模型的原理不是很清楚，如果有大佬愿意解答万分感谢！