输出无限循环，死循环

[xiaoyin199]

System Info / 系統信息

python3.10.10
NVIDIA-SMI 535.86.05
Driver Version: 535.86.05
CUDA Version: 12.2
model：chatglm3-6b-32k

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

使用web_demo.py或web_demo2.py都会遇到此问题；
我输入一个对话内容：
例如：写一篇赞美长城的文章，必须大于2000字；
感觉这个2000字限定是个出发条件，或者其他；
然后就死循环了无限输出不带停的，只能手动结束任务；

参考截图：

Expected behavior / 期待表现

正常输出！

[zRzRzRzRzRzRzR]

你这个现象能稳定复现么，我这边复现不出来

[Goldensun990]

这个问题的稳定复现是方式是：
1.设置temperature：0.9，设置top_p：0.7
2.连续性输入超长文本，用个脚本不停的输入
3.显存不要过大，int4用8GB显存，全精度24GB显存也会出现，32GB和40GB用的很少，没注意。
4.chatglm3-6b-32k，max_tokens=32000，容易出现，减小设置，出现频率降低。非32k出现较少，但也时有发生。

[lingyezhixing]

测试GLM2-6B-32K-int4时我遇到过，问题中加入类似于“字数大于多少”，“尽量多”的诱导长输出的语句时出现这种现象的概率升高，但是到底是哪个语句起到触发作用暂不清楚因此难以稳定复现，之前看过一个视频，里面的必应也出现了这种问题，大概和模型神经元连接有关吧

[wxchjay]

需要复现很简单，让程序跑1000篇文章，就会出现此类问题

[zRzRzRzRzRzRzR]

复现中，在官方demo执行多次的长文章时候，确实有概率遇到了这种问题，mark

[xiaoyin199]

稳定复现 ，使用就浮现，使用32k，其他版本没试验，没有量化使用

[xiaoyin199]

我就用这个指令就稳定复现：写一篇赞美长城的文章，必须大于2000字；

[zRzRzRzRzRzRzR]

该问题没有很好的解决方案
以下两个方法可以尝试

1. 提高top p
2. 增加惩罚系数

这是模型在训练阶段对这类的提示词训练不足，加入badcase

[xiaoyin199]

这类是哪类，必须大于？还是2000字？模型不理解这个意思？怎么能让它别死循环输出呀！

[zRzRzRzRzRzRzR]

可能是模型的问题，上述两个方案也是临时解决方案。
我们正在尝试解决这个问题

[wxchjay]

请问可以看下我的哪个帖子？#262

[zRzRzRzRzRzRzR]

更新到最新代码，将repetition_penalty按照最新代码的1.2来设定，只要提示词不重复，暂时没有再出现重复现象，可以复现一下

[zRzRzRzRzRzRzR]

还是同样的复现吗

[zRzRzRzRzRzRzR]

我们用长城的例子是没有出现这个问题了，这个估计就是你脚本执行的问题，尝试只执行一次，如果只执行一次没有问题，很有可能为脚本问题

[wxchjay]

麻烦给我个邮箱 我给你个py文件和csv文件 你们用这个跑下就知道了

[wxchjay]

然后我要求中文，给我生成英文

[wxchjay]

[wxchjay]

[wxchjay]

不全部生成，直接下一篇 我要求中文，给我生成英文 重复语句 我给你们下我这边用的关键词以及批量生成的py文件，你们这边跑一下，就可以复现问题了 封情のあい ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "THUDM/ChatGLM3" ***@***.***>; 发送时间: 2023年11月19日(星期天) 上午10:51 ***@***.***>; ***@***.******@***.***>; 主题: Re: [THUDM/ChatGLM3] 输出无限循环，死循环 (Discussion #283) 我们用长城的例子是没有出现这个问题了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[zRzRzRzRzRzRzR]

这类问题目前没有办法通过代码解决，是模型层面需要优化的地方，要等之后模型更新