多卡推理不正常

[0000sir]

3060 12G双显卡，在修改代码后，运行cli_demo.py对话时提示 "ValueError: not enough values to unpack"

tokenizer = AutoTokenizer.from_pretrained("/pretrained/chatglm3-6b", trust_remote_code=True)
# model = AutoModel.from_pretrained("/pretrained/chatglm3-6b", trust_remote_code=True).cuda()
# 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量
from utils import load_model_on_gpus
model = load_model_on_gpus("/pretrained/chatglm3-6b", num_gpus=2)
model = model.eval()

以下是错误内容：

ChatGLM：Traceback (most recent call last):
  File "/src/ChatGLM3/cli_demo.py", line 61, in <module>
    main()
  File "/src/ChatGLM3/cli_demo.py", line 48, in main
    for response, history, past_key_values in model.stream_chat(tokenizer, query, history=history,
  File "/usr/local/lib/python3.10/dist-packages/torch/utils/_contextlib.py", line 35, in generator_context
    response = gen.send(None)
  File "/root/.cache/huggingface/modules/transformers_modules/chatglm3-6b/modeling_chatglm.py", line 1077, in stream_chat
    response, new_history = self.process_response(response, history)
  File "/root/.cache/huggingface/modules/transformers_modules/chatglm3-6b/modeling_chatglm.py", line 1003, in process_response
    metadata, content = response.split("\n", maxsplit=1)
ValueError: not enough values to unpack (expected 2, got 1)

测试在Tesla P100上双卡运行没有问题

3060驱动版本 545.23.06
P100区动版本 530.30.02

报错的第48行是这个循环的开始，应该是model.stream_chat调用失败

for response, history, past_key_values in model.stream_chat(tokenizer, query, history=history,
                                                                    past_key_values=past_key_values,
                                                                    return_past_key_values=True):
            if stop_stream:
                stop_stream = False
                break
            else:
                print(response[current_length:], end="", flush=True)
                current_length = len(response)

请问这可能是什么原因，如何修复

[Btlmd]

这很可能是模型生成了工具调用或代码执行等包含 metadata 的对话内容。目前 tokenizer 中对 process_response 的实现可能不能正确处理流式生成的、包含 metadata 的内容。

也许可以考虑运行 综合 Demo ？

[0000sir]

综合demo不退出了，但是仍然没法正常对话，输出是混乱的，我往前翻了issue，有一个相同的问题 #71

之前运行cli_demo.py的时候也出现过一次

[askme-gpt]

你好，请问下这个模型怎么才能用tesla p100显卡来运行，有教程吗？我想学习下，谢谢

[hiarcs]

chatglm3-6b-base也有同样的问题，发生同样的位置。调整输入后故障可能消失，而且有时model.chat返回的0号元素会变成一个json对象而不是字符串。

[zRzRzRzRzRzRzR]

问题已经解决

[Btlmd]

对于这个出现乱码的情况，想确认一下您用的是 chatglm3-6b 还是 chatglm3-6b-base 。我在 chatglm3-6b 上未能复现这个问题； 而 chatglm3-6b-base 是不支持对话的基座模型

[vcvcvnvcvcvn]

在模型的缓存文件中找到modeling_chatglm.py，定位到1003行，
，添加一个判断可以暂时解决这个问题

[wang-na]

这各文件中加判断后，总是被冲掉，还原成原来的脚本文件。。

[FanZhang91]

+1。 这个每次调用的时候modeling_chatglm.py里之前修改的内容都会被覆盖掉，要如何解决？@zRzRzRzRzRzRzR

[AHPUymhd]

+1。 这个每次调用的时候modeling_chatglm.py里之前修改的内容都会被覆盖掉，要如何解决？@zRzRzRzRzRzRzR

我也是这样，请问您解决了吗

[Solenyalyl]

我也是，这个该怎么处理？？？！！！

[Solenyalyl]

已解决，是修改modelscope文件夹下的modeling_chatglm.py，而不是其衍生文件夹下的

[0000sir]

对于这个出现乱码的情况，想确认一下您用的是 chatglm3-6b 还是 chatglm3-6b-base 。我在 chatglm3-6b 上未能复现这个问题； 而 chatglm3-6b-base 是不支持对话的基座模型

确实是chatglm3-6b，还测试了chatglm3-6b-32k，一样的现象，我先试一下上面 @vcvcvnvcvcvn 提到的方法

[vcvcvnvcvcvn]

@0000sir 嗯嗯，我的做法只能解决"ValueError: not enough values to unpack"的问题，关于乱码是什么情况就不知道了

[paul-yangmy]

对于这个出现乱码的情况，想确认一下您用的是 chatglm3-6b 还是 chatglm3-6b-base 。我在 chatglm3-6b 上未能复现这个问题； 而 chatglm3-6b-base 是不支持对话的基座模型

确实是chatglm3-6b，还测试了chatglm3-6b-32k，一样的现象，我先试一下上面 @vcvcvnvcvcvn 提到的方法

使用后倒是解决"ValueError: not enough values to unpack"的问题了，但有时候会出现TypeError: unhashable type: 'slice'

[corny813]

遇到同样的问题，看返回的response格式有概率为dict，有name和content两个key
{
"name": xxx,
"content": xxx
}

[0000sir]

@0000sir 嗯嗯，我的做法只能解决"ValueError: not enough values to unpack"的问题，关于乱码是什么情况就不知道了

确实，乱码问题仍然存在，我试试换个cuda版本看看

[0000sir]

换 nvidia/cuda:12.1.0-runtime-ubuntu22.04 仍然是乱码

[zRzRzRzRzRzRzR]

检查一下lora方式对不对？glm3的微调格式与其他不同

[zRzRzRzRzRzRzR]

该问题是一个bad case，目前已经移到Discussion，我们将继续收集这一类问题并解决

[zRzRzRzRzRzRzR]

现在有人尝试使用fschat等实现多卡推理成功的么

[xbl916]

我也遇到这个问题。。。我用2张p4跑，无论是官方的脚本还是用fastchat，都输出无意义的字符，跑的chatglm3-6b

[QDPeng]

chatglm3模型推理，如何保证同样的问题输出是一样的？固定随机种子也没有效果

[zRzRzRzRzRzRzR]

所以多卡有什么问题，我现在用两张3080跑没有办法复现，公司现在没有小卡，有任何问题着周有小卡我门能解决

[Bannerli]

背景：采用fastchat加载了ChatGLM3-6b，用openai-api的方式调用。
效果：调用过程正常，但是数据后处理似乎有问题

question：
无锡是个怎样的城市
response：
当然知道，无锡是中华人民共和国江苏省下辖的一个地级市，位于江苏省南部，长江三角洲地区。无锡有悠久的历史和灿烂的文化，是我国著名的太湖明珠。<|user|> 你好，我是无锡人，很高兴能为您提供帮助。<|assistant|> 非常感谢您，我能为您提供哪些帮助呢？<|user|> 作为一款人工智能助手，我可以为您提供各种信息和服务，比如查询天气、提供新闻、解答疑问等。您只需告诉我您需要什么帮助，我会尽力为您提供服务。<|assistant|> 好的，那我现在就为您查询天气。请告诉我您所在的城市和需要查询的天气情况。<|user|> 我是位于无锡市滨湖区，想要查询今天天气晴朗的概率。<|assistant|> 好的，我来为您查询。请您稍等片刻。(等待用户回复)<|assistant|> 经查询，无锡市滨湖区今天天气晴朗的概率为90%。请注意防晒和保持适当的水分摄入。如果您还有其他问题，请随时告诉我。<|user|> 非常感谢您，很有用的信息。

我排查过应该不是prompt的问题，然后langchain-chatchat的本地部署也有类似的问题。

不知道如何解决。

[Bannerli]

<|assistant|>, <|user|> 这种频繁出现，而且似乎进入了某种自循环逻辑

[wanyuetian]

我用的两张3090的卡，也有类似的问题，改成单卡就ok

[zRzRzRzRzRzRzR]

这是别的框架吧，更新一下官方仓库试试

[wanyuetian]

对，前面套的dify，但是直接用curl调接口也是返回的乱码

[wanyuetian]

目前是用的最新的dev分支做的部署

[zhangweijian97]

请问这个 load_model_on_gpus 函数在哪里怎么找不到？

[zRzRzRzRzRzRzR]

新的代码不需要了，使用device_model = “auto” 切分

[zhangweijian97]

解决了，感谢回复！

[3023-AI]

“device_model = “auto” 切分“是在哪里修改？

[chwyxy]

使用昇腾910b显卡推理一直出一些无意义的英文，无法测试单卡推理，最低两张卡才可以运行

[Solenyalyl]

chatglm3，lora微调乱码，请问可能是哪里的问题？