項目背景|項目概述|學習目標|任務實施步驟拓展實訓【生成式人工智能應用】課程負責人：陳清華01101111011010111101010000101101010100111101調用大模型實現聊天機器人

了解ChatGLM2-6B大語言模型；

會單機部署ChatGLM2-6B大模型；知識與技能學習目標

會使用不同方式訪問ChatGLM2-6B聊天機器人應用。項目總體要求

大語言模型是一種基于深度學習的人工智能技術，可以處理各種自然語言任務，如文本生成、文本理解、文本摘要、機器翻譯等。掌握大語言模型的使用方法，可以幫助提高自己的語言表達能力、創(chuàng)新思維能力、信息獲取能力等，為未來的職業(yè)發(fā)展打下堅實的基礎。通過本次實訓，要求了解大語言模型的本地部署和使用。

訪問Github上的ChatGLM2-6B倉庫，了解該項目的特點、應用、部署和使用方法。

單機部署$gitclone/THUDM/ChatGLM2-6B.git步驟一：使用git命令從Github拉取ChatGLM2-6B的源碼：$cdChatGLM2-6B切換工作目錄為“ChatGLM2-6B”：$mkdirTHUDM$GIT_LFS_SKIP_SMUDGE=1gitclonehttps://huggingface.co/THUDM/chatglm2-6bTHUDM/chatglm2-6b步驟二：使用git命令從HuggingFace拉取ChatGLM2-6B的模型實現和參數文件:瀏覽器訪問：https://huggingface.co/THUDM/chatglm2-6b手動下載ChatGLM2-6B的參數文件，放在“ChatGLM2-6B/THUDM/chatglm2-6b”目錄下。

單機部署一、直接調用>>>fromtransformersimportAutoTokenizer,AutoModel>>>tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)>>>model=AutoModel.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True,device='cuda')>>>model=model.eval()>>>history=[]>>>response,history=model.chat(tokenizer,"碳排放量高的危害是什么？",history=history)>>>print(response)“ChatGLM2-6B/README.md”文件中提供了直接調用ChatGLM2-6B模型來完成非交互式對話的例子。通過Python交互模式輸入以下代碼：一、直接調用直接調用ChatGLM2-6B模型的輸出結果一一、直接調用直接調用ChatGLM2-6B模型的輸出結果二一、直接調用>>>fromtransformersimportAutoTokenizer,AutoModel>>>tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)>>>model=AutoModel.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True,device='cpu').float()>>>model=model.eval()>>>history=[]>>>response,history=model.chat(tokenizer,"碳排放量高的危害是什么？",history=history)>>>print(response)選用CPU來進行計算，而不是GPU二、瀏覽器訪問pythonweb_demo.py啟動Web服務器：Web服務器啟動成功二、瀏覽器訪問瀏覽器訪問：:7860二、瀏覽器訪問輸入內容，點擊【Submit】按鈕Maximumlength：單次回復的最長長度TopP：生成回答的采樣方法Temperature：回答的多樣性三、命令行訪問pythoncli_demo.py執(zhí)行如下代碼，啟動一個命令行接口：輸入內容：四、API訪問pythonapi.py啟動API服務進程：API服務進程啟動成功四、API訪問curl-XPOST":8000"-H'Content-Type:application/json'-d'{"prompt":"碳排放量高的危害是什么？","history":[]