023年10月27日，智譜AI于2023中國計算機大會（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相關系列產(chǎn)品，這也是智譜AI繼推出千億基座的對話模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了獨創(chuàng)的多階段增強預訓練方法，使訓練更為充分。評測顯示，在44個中英文公開數(shù)據(jù)集測試中，到目前為止ChatGLM3在國內(nèi)同尺寸模型中排名首位。官方說明該模型的性能較前一代大幅提升，是10B以下最強基礎大模型！重點來了，ChatGLM3在能力大幅增強的同時，依然是開源的、免費商用！

可以參考前面兩章的部署文檔：

在Win11上部署ChatGLM2-6B詳細步驟--（上）準備工作-CSDN博客

在Win11上部署ChatGLM2-6B詳細步驟--（下）開始部署-CSDN博客

項目下載模型地址：Ghttps://github.com/THUDM/ChatGLM3

下面的操作都是基于您已創(chuàng)建了python虛擬機，安裝好pytorch等工作后的操作。如果不清楚準備工作的，請看上面兩篇文章參考一下。

1、下載本倉庫

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

2、安裝相關依賴

pip install -r requirements.txt

其中 transformers 庫版本推薦為 4.30.2，torch 推薦使用 2.0 及以上的版本，以獲得最佳的推理性能。

3、本地加載模型

網(wǎng)上加載模型就不要想了，速度、速度啊。我們還是本地加載模型。

git clone https://huggingface.co/THUDM/chatglm3-6b

這個地址下載不下來，可以去modelscope這個地址下載：

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

全模型文件如下圖：

4、下載后，按照之前的方法，創(chuàng)建一個文件夾，THUDM，把這些模型考貝到里面。修改模型路徑，參考之前的修改方法。

5、網(wǎng)頁加載的方式，還是兩種

（1）python web_demo.py

（2）、通過Streamlit方式加載

streamlit run web_demo2.py

（3）命令行方式

python cli_demo.py