加载用lora微调后的模型进行推理时，出现“IndexError: index out of range in self”问题，请问是什么原因？

[fanll]

[Crily11]

我也是这个问题 请问您解决了吗

[HHCOlll]

您好，我也是这个问题，请问解决了吗

[xiahuadong1981]

问题解决：重装transformers
pip install transformers==4.32

[fanll]

统一回复一下，我后来尝试用下面的方法可以正常加载了。transformer用的是requirements指定的版本。
代码：

    from transformers import AutoTokenizer, AutoModel
    from peft import PeftModel

    TOKENIZER_PATH = "path/to/tokenizer"
    LORA_PATH = "path/to/lora"
    device = "cuda"
    tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
    model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map=device).eval()
    model = PeftModel.from_pretrained(model, LORA_PATH)