Mac环境下的配置和环境准备

[zRzRzRzRzRzRzR]

在这里提出Mac环境下配置ChatGLM3-6B模型的任何问题，例如：

• Mac推理速度很慢，有没有什么优化方案
• 我想知道chatglm有没有针对M3芯片的优化推理方案

[xxxzsgxxx]

mac下模型推理ggml/gguf量化是王道，否则速度感人，chatglm.cpp项目直接走起。

在这里提出Mac环境下配置ChatGLM3-6B模型的任何问题，例如：

• Mac推理速度很慢，有没有什么优化方案
• 我想知道chatglm有没有针对M3芯片的优化推理方案

[xandyandliu]

期待高阶功能， function calling, code interpreter ggml/gguf量化还能体验么？

[xandyandliu]

M1 pro 16GB内存 平均1分钟大概吐一个字的样子

[craii]

M3 24G内存，加载chatglm3-6b模型直接炸显存，无法加载完成怎么处理？

[zRzRzRzRzRzRzR]

emm，你这个记得加上half 不然你载入的是fp32的就要25GB内存了

[craii]

谢谢你，后来改用文档里提到的 chatglm.cpp 转 int4 处理了。

[zRzRzRzRzRzRzR]

这个速度确实太慢了，我们查一下

[zRzRzRzRzRzRzR]

目前最好的方案还是使用类似glm-cpp等工具来推理int4版本的，fp16版本在m1上确实是非常非常卡

[ghost]

Apple M2 Pro + 32G 内存可正常运行 chatGLM3-6B，但是有一个严重的问题，就是内存占用只增不减，随着使用，由于内存不断的增加，导致推理速度逐渐变慢，直到撑爆物理内存，开始使用交换分区，这可如何是好（N 卡的就正常，显存是会释放的

[Ventery]

你好，在N卡上跑的话你的history输入条数有限制吗？正常来说history越多占用内存就应该越大的呀

[GuiminZHOU]

同问，m2max+64G，运行web_demo后，4-5次会话，内存从12G激增至56G，且回复内容陷入死循环，一直返回重复的内容

[mobguang]

是的，我发现在Mac(M2 ultra，192GB)上运行vicuna-13b也会出现内存一直上涨而且无法回收的现象。不知道大家有没有办法解决。

[southkorea2013]

暂时可以将HISTORY_LEN 设置为

历史对话轮数,如果设置不为0，内存占用会一直飙升

HISTORY_LEN = 0

[MoYJiang]

Apple Mac Pro M3 24G内存 使用官方的composite_demo推理巨慢，简单的'你好'需要花费近30分钟，内存利用率很高达到百分之九十多，而CUP和GPU的利用只有百分之十几到二十。从stream_chat的输出来看，卡在推理计算，每个token输出都显得很困难。

[Ventery]

M2 pro 芯片+32G内存 已经成功在GPU上跑成功，速度超级快，已经跟chatgpt3.5一样快了，不需要加速
准备工作就是先部署好，可以生成回答的状态（虽然超级慢）
然后按照以下步骤来
1、先删掉这哥仨
pip uninstall torch torchvision torchaudio
2、从官网上下nightly版本的
pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
使用命令
pip list | grep torch
看到类似这样的

torch 2.3.0.dev20231224
torchaudio 2.2.0.dev20231224
torchvision 0.18.0.dev20231224

看到后面带dev的就可以下一步了

3、将/ChatGLM3/composite_demo/client.py
中的第140行左右
中的
device_map = “auto”
改为
device_map = “mps”

保存重新运行即可畅爽

[Ventery]

这个只能减少每次history输入的条数了，限制为3条试试

[southkorea2013]

请问这个内存占用不停增加的问题有解决方法吗？

[southkorea2013]

是PyTorch的问题，还是fschat调用的问题？

[Ventery]

内存本来就是随着对话次数在不断增加的，你可以限制一下每次输入历史的条数，在我的m2的机器上能把内存控制到一定程度不再增加的

[southkorea2013]

谢谢回复。我使用的是LangChain + Chatchat的项目，使用了chatglm3-6b+KB的方案。每次输入的历史条数为2，我发现几轮下来对应的运行chatglm3-6b的进程内存占用会飙升到70G左右，我用的是128G的M3。

[zRzRzRzRzRzRzR]

后续可能会有支持MLX的计划

[mobguang]

请问在Mac Studio M2 ultra上，可以用自己的dataset微调ChatGLM3吗，谢谢。

[mobguang]

谢谢回复。
请问有相关的指导文档吗，感谢。

[zRzRzRzRzRzRzR]

直接按照我们默认的文档就行了，但是估计你跳起来相当费劲，不知道你内存多少，mac至少要32G的内存才能调

没有专门为mac写的文档

[mobguang]

你提到“相当费劲”，请问指的是代码复杂度，还是说机器性能的限制，谢谢。

[zRzRzRzRzRzRzR]

机器性能，因为为微调占用显存，而你是mac，意味着是使用内存来完成这个任务，而且mac效率比英伟达显低太多了

[mobguang]

收到了，感谢！

[myEchos]

【咨询】Mac 上通过运行python3 web_demo_streamlit.py 会把模型下载到哪里？

我按照README.MD的步骤顺序往下执行，但是没有注意到我的Mac RAM 是不足以运行 chatglm 的。
但是此时已经完成了模型下载（7个 model-00001-of-00007.safetensors 大文件）。
运行过程中发现推理太慢（设备不符合条件），于是想要卸载，但是未能找到删除模型的方法，也未能找到模型所在的位置。

我做了一些尝试，但失败了：

尝试修改 “cli_demo.py”，使之在命令行输出
print(f"MODEL_PATH: {MODEL_PATH}")
print(f"TOKENIZER_PATH: {TOKENIZER_PATH}, os.path.abspath(TOKENIZER_PATH): {os.path.abspath(TOKENIZER_PATH)}")
但是得到的路径，里面并没有大文件。

通过 Mac 自带的存储文件清理，似乎我可控的文件夹内并没有大文件（难道是被统计到了“系统数据”中？）

尝试搜索，包括“THUDM/chatglm3-6b”、‘safetensors’，同样未能找到大文件。

希望能够得到各位的指导和帮助，先谢谢啦。

[southkorea2013]

如果是HuggingFace上的模型，一般在$HOME/.cache/huggingface/hub下面。

[ccall19]

mac studio 192G mps后端上进行Lora 微调，内存占用持续上涨直到突破物理内存，之后速度变得很慢，对比换到mac cpu 和 N卡上显存占用和速度都是稳定的，请问是否有解决方法？

[southkorea2013]

尝试用Apple自己的Framework MLX去跑LORA微调：
https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md
不过现在MLX还不支持ChatGLM， Llama family 都支持。

[Zi-Gao]

实测在 macbook m3pro 18g 上，关闭出了终端的其他软件后，直接运行可以达到和 chatgpt3.5 甚至快一点的速度。

使用 chatglm-cpp 量化 fp16 模型，会显著降低回复延迟。若使用 int4 量化模型，可以达到10token/s

[WuXiaochengGG]

【咨询】
目前使用的是mac m1芯片。
试图本地部署ChatGLM3，按照教程走到pip install -r requirements.txt时出现问题。
依赖库vllm>=0.4.2无法安装。
找到vllm官方文档，其只支持linux系统。
请问该如何处理？

[HappyJimmyBoy]

我M3 Pro 也遇到这个问题了:AssertionError: vLLM only supports Linux platform (including WSL).

[jessienxx]

我用M2也遇到这个问题了，有人可以告知一下怎么解决嘛

[yuyunquan1]

我直接把那个依赖给注释掉了，其他的就正常安装，还真能用，cli和streamlit都可以，web_demo_gradio会报safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge的错误。

[jasonyen92]

me too! how to resolve

[SunshineRoc]

我直接把那个依赖给注释掉了，其他的就正常安装，还真能用，cli和streamlit都可以，web_demo_gradio会报safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge的错误。

其它能正常运行吗？