安装 Python3.10 并配置镜像源加速 pypi 下载

pip install -i https://mirrors.ustc.edu.cn/pypi/web/simple pip -U
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple

下载 ChatGLM3 仓库

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3/composite_demo

下载模型

git clone https://modelscope.cn/models/ZhipuAI/chatglm3-6b

编辑文件当前目录下的 client.py 文件

...
MODEL_PATH = os.environ.get('MODEL_PATH', 'chatglm3-6b') # 修改为当前路径下的模型路径
PT_PATH = os.environ.get('PT_PATH', None)
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu' # 如果没有安装cuda自动选择cpu进行推理
...

运行 chatglm3 模型

python -m venv venv
venv\Scripts\Activate.ps1
pip install -r requirements.txt

streamlit run main.py