From 9f30f510d24af16e69bca7e78c010449346be8df Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=9D=A8=E5=9F=B9=E6=96=87=20=28Yang=20Peiwen=29?= <915505626@qq.com> Date: Sun, 7 Apr 2024 17:35:56 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20ChatGLM3=20=E7=A6=BB?= =?UTF-8?q?=E7=BA=BF=E5=8C=85=20(#49)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * Update download_model.py * Update download_model.py * Update test_models.py * Update requirements.txt * Update download_model.py * Update requirements.txt * Update app_fastapi.py * Update README.md * Update README.md * Update download_model.py * Update README.md --- README.md | 13 +++++++------ app_fastapi.py | 2 +- download_model.py | 12 +----------- requirements.txt | 8 ++++---- test_models.py | 2 +- 5 files changed, 14 insertions(+), 23 deletions(-) diff --git a/README.md b/README.md index 77072f0..97424ea 100644 --- a/README.md +++ b/README.md @@ -17,21 +17,22 @@ | 名称 | 大小 | 百度网盘 | 备注 | | ---- |---------| ---- | ---- | -| **小显存离线包** | 5.3 GB | [点击下载](https://pan.baidu.com/s/1NgY-i2CXh50vAEhr9N-1EQ?pwd=cglm) | 使用 ChatGLM-6B-int4 权重的离线包，显存需求 8GB | -| 大显存离线包 | 11.8 GB | [点击下载](https://pan.baidu.com/s/19Sx8pBm-BesSQMPd9Zymug?pwd=cglm) | 使用 ChatGLM-6B 权重的离线包，显存需求 16GB | -| 环境离线包 | 2.6 GB | [点击下载](https://pan.baidu.com/s/1Es-Sr8tpc17q69W_RkrlsA?pwd=cglm) | 不带权重的离线包，启动之后可以自动下载模型，默认自动下载 ChatGLM-6B 权重。 | +| **小显存离线包** | 5.3 GB | [点击下载](https://pan.baidu.com/s/1fI1JWBE7KP7cJsoD-dL38g?pwd=cglm) | chatglm2-6b-int4 离线包，显存需求 8GB | +| 大显存离线包 | 11.5 GB | [点击下载](https://pan.baidu.com/s/10oUwW2DUMDFk3RuIkaqGbA?pwd=cglm) | chatglm3-6b 离线包，显存需求 16GB | +| 长文本离线包 | 11.5 GB | [点击下载](https://pan.baidu.com/s/1kbeTdPcUmYd16IE0stXnTA?pwd=cglm) | chatglm3-6b-128k 离线包，显存需求 16GB | +| 环境离线包 | 2.6 GB | [点击下载](https://pan.baidu.com/s/1Kt9eZlgXJ03bVwIM22IR6w?pwd=cglm) | 不带权重的环境包，启动之后自动下载 chatglm2-6b-int4 权重。 | -除了这些离线一键环境之外，你还可以在下面下载一些模型的权重，包括 `THUDM/chatglm-6b` 系列、`silver/chatglm-6b-slim` 系列、`BelleGroup/BELLE` 系列。 +除了这些一键环境包之外，你还可以在下面下载更多模型的权重。 * 百度网盘链接：[https://pan.baidu.com/s/1pnIEj66scZOswHm8oivXmw?pwd=cglm](https://pan.baidu.com/s/1pnIEj66scZOswHm8oivXmw?pwd=cglm) 下载好环境包之后，解压，然后运行 `start_offline.bat` 脚本，即可启动服务： -企业微信截图_16822982234979 +![Snipaste_2024-04-07_16-14-54](https://github.com/ypwhs/CreativeChatGLM/assets/10473170/7ab0c0e8-9ada-43ad-b237-ba0f2008bdac) 如果你想使用 API 的形式来调用，可以运行 `start_offline_api.bat` 启动 API 服务： -企业微信截图_16822982234979 +![Snipaste_2024-04-07_16-16-01](https://github.com/ypwhs/CreativeChatGLM/assets/10473170/959c1742-da2e-4b37-b40f-6fb96c53ab89) ## 虚拟环境 diff --git a/app_fastapi.py b/app_fastapi.py index 6bc8b09..0d7ca0f 100644 --- a/app_fastapi.py +++ b/app_fastapi.py @@ -11,7 +11,7 @@ # 加载模型 # model_name = 'THUDM/chatglm-6b' -model_name = 'THUDM/chatglm-6b-int4' +model_name = 'THUDM/chatglm3-6b' if 'chatglm' in model_name.lower(): from predictors.chatglm_predictor import ChatGLM diff --git a/download_model.py b/download_model.py index 32a56e0..bf7824e 100644 --- a/download_model.py +++ b/download_model.py @@ -15,21 +15,11 @@ 'THUDM/chatglm2-6b-int4', 'THUDM/chatglm3-6b', - - # 'BelleGroup/BELLE-LLAMA-7B-2M-gptq', - # 'BelleGroup/BELLE-7B-gptq', - # 'BelleGroup/BELLE-LLAMA-7B-2M', - # 'BelleGroup/BELLE-7B-2M', + 'THUDM/chatglm3-6b-128k', # 'silver/chatglm-6b-slim', # 'silver/chatglm-6b-int4-slim', # 'silver/chatglm-6b-int4-qe-slim', - - # 'fnlp/moss-moon-003-base', - # 'fnlp/moss-moon-003-sft', - # 'fnlp/moss-moon-003-sft-plugin', - # 'fnlp/moss-moon-003-sft-int4', - # 'fnlp/moss-moon-003-sft-plugin-int4' ] for model_name in model_name_list: diff --git a/requirements.txt b/requirements.txt index 08e73f9..ea58737 100644 --- a/requirements.txt +++ b/requirements.txt @@ -1,13 +1,13 @@ protobuf~=3.20.0 -transformers~=4.35.2 +transformers~=4.36.2 icetk~=0.0.4 cpm_kernels~=1.0.11 torch>=1.10 -gradio~=4.8.0 +gradio~=4.25.0 numpy~=1.23.0 -accelerate~=0.25.0 +accelerate~=0.29.1 mdtex2html~=1.2.0 sentencepiece~=0.1.97 uvicorn~=0.19.0 -fastapi~=0.85.2 +fastapi~=0.110.1 requests~=2.27.1 diff --git a/test_models.py b/test_models.py index 898bf9f..4899a24 100644 --- a/test_models.py +++ b/test_models.py @@ -38,9 +38,9 @@ def test_model(model_name): def main(): model_list = [ - 'THUDM/chatglm2-6b', 'THUDM/chatglm2-6b-int4', 'THUDM/chatglm3-6b', + 'THUDM/chatglm3-6b-128k', ] for model_name in model_list: print(f'Testing {model_name}')