composite_demo如何运行int4量化后的模型呢？

[peasshoter]

我量化后的模型运行main.py提示需要其他的文件，我下载完配置文件后提示[model_proto->ParseFromArray(serialized.data(), serialized.size())]

[Roych13]

你可以在client.py文件的141和155行里加上quantize(4)试试:

            self.model = AutoModel.from_pretrained(
                model_path,
                trust_remote_code=True,
                config=config,
                device_map="auto"
            ).eval()
            prefix_state_dict = torch.load(os.path.join(pt_checkpoint, "pytorch_model.bin"))
            new_prefix_state_dict = {}
            for k, v in prefix_state_dict.items():
                if k.startswith("transformer.prefix_encoder."):
                    new_prefix_state_dict[k[len("transformer.prefix_encoder."):]] = v
            print("Loaded from pt checkpoints", new_prefix_state_dict.keys())
            self.model.transformer.prefix_encoder.load_state_dict(new_prefix_state_dict)
        else:
            self.model = (
                AutoModel.from_pretrained(
                    MODEL_PATH,
                    trust_remote_code=True,
                    device_map="auto"
                ).eval())

不过我用微调后的8位量化模型时报错，官方回复说是不支持量化的。
#671

[zRzRzRzRzRzRzR]

是的，这个quantize(4)可以支持原生模型的在线量化，但是我们没有推出离线量化