版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
-14-前言1.1研究背景隨著人工智能技術(shù)和互聯(lián)網(wǎng)的迅速發(fā)展,智能問答系統(tǒng)已廣泛應(yīng)用于各個領(lǐng)域,尤其是大語言模型的出現(xiàn),使得問答系統(tǒng)的性能得到了顯著的提升。這些系統(tǒng)能夠理解和生成自然語言,提供更加智能化和個性化的服務(wù)。在旅游領(lǐng)域,智能問答系統(tǒng)能夠幫助用戶快速獲得景點(diǎn)信息、推薦旅游路線、解答各種旅游相關(guān)的問題,提升游客的出行體驗(yàn)。隨著旅游業(yè)的快速發(fā)展和智能化轉(zhuǎn)型,游客對旅游信息的需求日益多樣化和個性化。上海不僅有豐富的歷史文化遺產(chǎn),還擁有現(xiàn)代化的旅游設(shè)施和景點(diǎn)。然而,由于游客需求多樣且信息龐雜,傳統(tǒng)的人工服務(wù)或紙質(zhì)地圖無法滿足游客在快速查詢和個性化推薦上的需求。開發(fā)一種智能問答系統(tǒng),幫助游客獲取準(zhǔn)確的景點(diǎn)信息,滿足游客的多元化需求,是非常必要的。因此本課題,設(shè)計(jì)并實(shí)現(xiàn)一個基于大模型微調(diào)的上海景點(diǎn)智能問答系統(tǒng),基于Python獲取上海景點(diǎn)問答數(shù)據(jù),采用“微調(diào)”技術(shù),針對上海景點(diǎn)領(lǐng)域進(jìn)行定制化訓(xùn)練,顯著提高系統(tǒng)的回答智能性和實(shí)用性。微調(diào)不僅能夠讓大模型更好地理解特定領(lǐng)域的語言特征,還能夠增強(qiáng)系統(tǒng)的上下文理解能力,使得問答更加自然和符合實(shí)際需求。為游客提供更加便捷、高效和個性化的旅游信息服務(wù),推動智能問答系統(tǒng)的發(fā)展。1.2國內(nèi)外研究現(xiàn)狀1.2.1國內(nèi)研究現(xiàn)狀在國內(nèi),隨著人工智能技術(shù)的迅猛發(fā)展,智能問答系統(tǒng)在各個行業(yè)中得到了廣泛應(yīng)用,尤其在旅游行業(yè)中,智能問答系統(tǒng)的潛力逐漸得到認(rèn)可。近年來,基于深度學(xué)習(xí)的自然語言處理技術(shù),尤其是BERT、GPT系列等大模型的應(yīng)用,為智能問答系統(tǒng)的實(shí)現(xiàn)提供了強(qiáng)有力的支持。以下是國內(nèi)景點(diǎn)智能問答系統(tǒng)及基于大模型微調(diào)智能問答系統(tǒng)的一些研究成果。在智能問答系統(tǒng)方面,左玲[1]采用了深度神經(jīng)網(wǎng)絡(luò)模型,通過對旅游領(lǐng)域數(shù)據(jù)進(jìn)行訓(xùn)練和結(jié)合多種深度學(xué)習(xí)算法,優(yōu)化了問答系統(tǒng)的準(zhǔn)確性和響應(yīng)速,并驗(yàn)證了其在實(shí)際應(yīng)用中的優(yōu)越性。此外,許寧[2]提出旅游問答系統(tǒng)在面對用戶的多樣化問題時,需要結(jié)合領(lǐng)域特定的知識進(jìn)行精準(zhǔn)回答,采用自然語言處理技術(shù)和深度學(xué)習(xí)算法,設(shè)計(jì)了一種能夠理解和回答旅游相關(guān)問題的智能問答系統(tǒng)。王榮坤[3]提出基于知識圖譜的問答系統(tǒng)通過構(gòu)建領(lǐng)域特定的知識庫,結(jié)合圖譜中的實(shí)體和關(guān)系,通過結(jié)合旅游知識圖譜的智能問答系統(tǒng)能夠提供更加精準(zhǔn)和個性化的回答,特別是在面向上海等大城市的景點(diǎn)推薦和信息查詢時,能夠顯著提高用戶體驗(yàn)。在基于大模型微調(diào)的智能問答系統(tǒng)方面,國內(nèi)也取得了顯著進(jìn)展。例如,任海玉等[4]深入指出微調(diào)技術(shù)對于提升模型在領(lǐng)域特定任務(wù)中的表現(xiàn)至關(guān)重要,尤其是在小規(guī)模、高質(zhì)量的領(lǐng)域數(shù)據(jù)下,微調(diào)能夠顯著增強(qiáng)模型的語義理解能力和問答準(zhǔn)確度。陳建海等[5]在強(qiáng)調(diào)微調(diào)過程中的數(shù)據(jù)質(zhì)量、問題多樣性和領(lǐng)域特定知識的融入,能夠使得模型更好地理解復(fù)雜的用戶需求,并生成更為準(zhǔn)確的答案。官璐等[6]指出微調(diào)過程能夠使系統(tǒng)在處理復(fù)雜、多樣化的問題時,展現(xiàn)出更高的準(zhǔn)確性和智能化水平,提供更加精準(zhǔn)和個性化的建議。吳雙[7]通過詳細(xì)分析“大規(guī)模預(yù)訓(xùn)練+微調(diào)”范式在AI大模型中的應(yīng)用,特別是在微調(diào)過程中,模型能夠根據(jù)上海旅游領(lǐng)域的特定需求進(jìn)行定制,顯著提高了問答系統(tǒng)的準(zhǔn)確性和實(shí)用性。隨著大規(guī)模預(yù)訓(xùn)練模型的不斷優(yōu)化和微調(diào)技術(shù)的成熟,AI系統(tǒng)在處理特定領(lǐng)域問題時,能夠更加精準(zhǔn)地適應(yīng)用戶需求,提供個性化的服務(wù)。陳子建[8]深入探討了大模型微調(diào)在多領(lǐng)域機(jī)器翻譯中的應(yīng)用和發(fā)展趨勢,尤其是涉及到專業(yè)術(shù)語和復(fù)雜語境時,微調(diào)技術(shù)能夠顯著提高翻譯的準(zhǔn)確性和流暢度。1.2.2國外研究現(xiàn)狀在國外,許多研究集中在如何通過大模型提升問答系統(tǒng)的智能化水平,尤其是在特定領(lǐng)域中的應(yīng)用。像Google、Microsoft和OpenAI等公司在智能問答系統(tǒng)的開發(fā)中取得了顯著進(jìn)展,尤其在旅游、醫(yī)療、金融等行業(yè)中,智能問答系統(tǒng)的應(yīng)用已經(jīng)逐漸普及。在研究大模型微調(diào)技術(shù)的應(yīng)用時,GodavarthiD等[9]提出了一種通過微調(diào)ALBERT模型與BM25L問答系統(tǒng)相結(jié)合的方法,顯著提升了基于查詢的檢索效果,這一方法的關(guān)鍵在于通過微調(diào)預(yù)訓(xùn)練模型,以便更好地理解特定領(lǐng)域的問題,從而提高問答系統(tǒng)的準(zhǔn)確性和效率。此外,JiangS[10]提出了一種在對抗性領(lǐng)域適應(yīng)中進(jìn)行混雜因素平衡的技術(shù),該方法能夠有效地減少由于數(shù)據(jù)分布不一致所帶來的偏差,提升系統(tǒng)對不同用戶提問的響應(yīng)質(zhì)量,從而在實(shí)際應(yīng)用中提供更加精準(zhǔn)和個性化的旅游信息服務(wù)。解決預(yù)訓(xùn)練大模型在旅游問答系統(tǒng)等特定領(lǐng)域中存在的性能下降問題.AhmedW等[11]通過不斷優(yōu)化模型和調(diào)整訓(xùn)練策略,問答系統(tǒng)能夠更好地理解用戶意圖并提供個性化的回答。同時提出了構(gòu)建高效智能問答系統(tǒng)的關(guān)鍵方法,該研究強(qiáng)調(diào)了智能問答系統(tǒng)在不同領(lǐng)域的廣泛應(yīng)用。在對現(xiàn)有的景點(diǎn)問答系統(tǒng)進(jìn)行研究的基礎(chǔ)上,了解其不足及其產(chǎn)生的原因,對目前、基于大模型微調(diào)的旅游領(lǐng)域應(yīng)用仍存在數(shù)據(jù)質(zhì)量、個性化推薦等挑戰(zhàn)沒有充分解決等問題進(jìn)行分析并進(jìn)行深度挖掘,提出相應(yīng)解決方案,從而使模型可以更好地滿足在旅游領(lǐng)域的需求,推動人工智能技術(shù)在各領(lǐng)域的廣泛普及和深度發(fā)展。1.3研究目的和意義1.3.1研究目的近幾年隨著我國信息技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)也得到快速普及應(yīng)用。本研究旨在設(shè)計(jì)并實(shí)現(xiàn)一個基于大語言模型微調(diào)的上海景點(diǎn)智能問答系統(tǒng),以解決當(dāng)前旅游信息服務(wù)中存在的三大核心問題:一是傳統(tǒng)問答系統(tǒng)語義理解能力有限,難以處理游客的復(fù)雜自然語言查詢;二是上海文旅資源信息分散,缺乏統(tǒng)一的知識整合平臺;三是現(xiàn)有系統(tǒng)缺乏個性化交互能力。通過引入領(lǐng)域自適應(yīng)微調(diào)技術(shù),重點(diǎn)突破垂直領(lǐng)域知識融合、多模態(tài)響應(yīng)生成和動態(tài)知識更新等關(guān)鍵技術(shù),構(gòu)建一個能夠理解滬語方言、支持多輪對話且具備實(shí)時信息更新能力的智能服務(wù)系統(tǒng)。研究成果將有效提升游客信息獲取效率,為智慧城市建設(shè)提供可落地的AI應(yīng)用案例,同時探索大模型在垂直領(lǐng)域微調(diào)的最佳實(shí)踐方案,為同類旅游城市數(shù)字化1.3.2研究意義當(dāng)前各大網(wǎng)站只提供各大酒店的價(jià)格對比,并不支持價(jià)格預(yù)測,難以幫助酒店實(shí)現(xiàn)科學(xué)定價(jià)。鑒于國內(nèi)當(dāng)前旅游的發(fā)展形式以及大部分消費(fèi)者都對價(jià)格極為敏感的現(xiàn)狀,實(shí)現(xiàn)科學(xué)定價(jià),勢必會提高酒店的競爭力。本課題通過科學(xué)的機(jī)器學(xué)習(xí)算法,實(shí)現(xiàn)各種類型的酒店價(jià)格預(yù)測,給酒店商家提供定價(jià)參考,幫助其決策,使其能夠在同一商圈眾多酒店中脫穎而出。1.4全文結(jié)構(gòu)安排本文共分為7章,文章組織結(jié)構(gòu)如下:第1章介紹了研究的背景、國內(nèi)外相關(guān)研究現(xiàn)狀以及研究的目的和意義。同時,還對本論文的整體結(jié)構(gòu)進(jìn)行了安排,為讀者提供了清晰的研究框架。第2章本章首先對系統(tǒng)的功能需求和非功能需求進(jìn)行分析,明確系統(tǒng)所需具備的核心功能。隨后,介紹了系統(tǒng)的整體架構(gòu)設(shè)計(jì),并詳細(xì)說明了各個模塊的功能和實(shí)現(xiàn)。通過系統(tǒng)設(shè)計(jì),為后續(xù)的開發(fā)和實(shí)現(xiàn)提供了理論基礎(chǔ)。第3章本章主要介紹了上海景點(diǎn)相關(guān)數(shù)據(jù)的采集方法與技術(shù)。首先概述了常用的數(shù)據(jù)采集技術(shù),然后詳細(xì)介紹了數(shù)據(jù)采集的具體實(shí)現(xiàn)過程。第4章本章介紹了數(shù)據(jù)預(yù)處理的相關(guān)技術(shù)及其在本系統(tǒng)中的應(yīng)用。通過對采集的數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化和格式轉(zhuǎn)換等處理,確保后續(xù)分析和模型訓(xùn)練所用數(shù)據(jù)的質(zhì)量。第5章本章詳細(xì)描述了系統(tǒng)開發(fā)的具體過程,包括前端與后端的開發(fā)與實(shí)現(xiàn)。前端部分負(fù)責(zé)用戶交互和界面設(shè)計(jì),后端部分負(fù)責(zé)數(shù)據(jù)處理和模型調(diào)用。同時,本章還介紹了系統(tǒng)的集成與測試,確保系統(tǒng)能夠順利運(yùn)行并滿足功能需求。第6章本章設(shè)計(jì)并執(zhí)行了一系列實(shí)驗(yàn)來驗(yàn)證系統(tǒng)的有效性和性能。包括與其他智能問答系統(tǒng)的對比實(shí)驗(yàn),評估了系統(tǒng)在準(zhǔn)確性、響應(yīng)時間等方面的表現(xiàn)。通過實(shí)驗(yàn)結(jié)果分析,提出了系統(tǒng)的優(yōu)缺點(diǎn),并探討了改進(jìn)的方向。第7章本章對本研究的主要工作和成果進(jìn)行了總結(jié),回顧了系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)和實(shí)驗(yàn)的全過程。最后,展望了未來研究的方向,討論了如何進(jìn)一步提高系統(tǒng)的智能化水平,并拓展到其他城市或領(lǐng)域的應(yīng)用。
相關(guān)技術(shù)綜述2.1預(yù)訓(xùn)練大模型原理隨著深度學(xué)習(xí)的發(fā)展,預(yù)訓(xùn)練語言模型成為了NLP的核心技術(shù)。代表性模型包括BERT、GPT、T5等。其核心思想是:通過在大規(guī)模通用文本語料上進(jìn)行“自監(jiān)督”訓(xùn)練,模型能夠?qū)W習(xí)到豐富的語言知識與語義表示,并在此基礎(chǔ)上遷移至下游任務(wù),如文本分類、命名實(shí)體識別、問答系統(tǒng)等。相比傳統(tǒng)模型,預(yù)訓(xùn)練模型在多個NLP任務(wù)中取得了顯著的性能提升,成為構(gòu)建現(xiàn)代智能問答系統(tǒng)的關(guān)鍵基礎(chǔ)。預(yù)訓(xùn)練模型的優(yōu)勢在于可以利用通用語言知識,只需較少的數(shù)據(jù)即可遷移到新的任務(wù)上,大大降低了構(gòu)建高性能NLP系統(tǒng)的門檻。2.1.1模型架構(gòu)基礎(chǔ):Transformer預(yù)訓(xùn)練語言模型大多基于Transformer架構(gòu).Transformer是由Vaswani等人在2017年提出的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),徹底擺脫了循環(huán)神經(jīng)網(wǎng)絡(luò)的時間序列依賴問題。其核心機(jī)制為自注意力機(jī)制,能夠建模任意兩個位置之間的依賴關(guān)系,從而提升語義建模能力。這一架構(gòu)為大規(guī)模訓(xùn)練提供了良好的并行計(jì)算能力,是預(yù)訓(xùn)練模型得以高效發(fā)展的技術(shù)基礎(chǔ)。表2-1Transformer結(jié)構(gòu)Transformer結(jié)構(gòu)多頭自注意力機(jī)制前饋神經(jīng)網(wǎng)絡(luò)殘差連接與層歸一化編碼器-解碼器結(jié)構(gòu)2.1.2預(yù)訓(xùn)練模型的優(yōu)勢與傳統(tǒng)任務(wù)專用模型相比,預(yù)訓(xùn)練語言模型具有以下優(yōu)勢:表2-2預(yù)訓(xùn)練語言模型的優(yōu)勢優(yōu)勢含義遷移能力強(qiáng)模型預(yù)訓(xùn)練后可廣泛應(yīng)用于不同下游任務(wù),僅需少量任務(wù)數(shù)據(jù)即可完成微調(diào);泛化能力好在面對未見樣本時,表現(xiàn)出較強(qiáng)的語言理解與推理能力;節(jié)省標(biāo)注成本預(yù)訓(xùn)練過程無需人工標(biāo)注數(shù)據(jù),適合大規(guī)模訓(xùn)練;效果顯著在各類NLP任務(wù)中均大幅提升了準(zhǔn)確率、召回率和魯棒性;因此,預(yù)訓(xùn)練語言模型已成為構(gòu)建智能問答系統(tǒng)的核心技術(shù)選項(xiàng),尤其在知識問答、多輪對話等復(fù)雜任務(wù)中表現(xiàn)優(yōu)異。2.1.3本項(xiàng)目中使用的大模型基礎(chǔ):Qwen??在本項(xiàng)目中,為實(shí)現(xiàn)上海景點(diǎn)的智能問答系統(tǒng),選用了中文支持良好的開源大語言模型Qwen作為基礎(chǔ)模型。該模型經(jīng)過在通用語料上的預(yù)訓(xùn)練,具備基本的中文語言理解與生成能力。Qwen模型的核心優(yōu)勢在于其:表2-3Qwen模型的核心優(yōu)勢優(yōu)勢含義原生支持中文相較于國外模型,Qwen針對中文進(jìn)行了深度優(yōu)化,包括中文分詞策略、語料選取、tokenizer編碼等;多語言與多任務(wù)能力除了中文外,Qwen也支持多種語言,并通過大規(guī)模指令微調(diào)具備理解、問答、寫作、摘要等任務(wù)通用能力;開源靈活提供從0.5B到72B不等的多個模型版本,適合部署于本地或云端,兼顧資源成本與性能;長文本處理能力強(qiáng)新版Qwen-1.5系列支持最大32Ktoken上下文,適合大文檔檢索與問答場景。在本項(xiàng)目中,選用了Qwen2.5-0.5B-instruct模型作為問答核心引擎。該模型基于通用對話語料與指令數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練與微調(diào),具備良好的多輪對話能力和指令遵循能力。在部署階段,結(jié)合本地構(gòu)建的“上海景點(diǎn)知識庫”,使用LoRA方式對Qwen進(jìn)行了輕量級微調(diào),以提升其在地理位置、景點(diǎn)信息、開放時間、交通指南等方面的問答精準(zhǔn)度。總的來說,Qwen模型的應(yīng)用使本項(xiàng)目實(shí)現(xiàn)了高質(zhì)量的自然語言理解與生成,顯著提升了用戶在問答系統(tǒng)中的交互體驗(yàn)與滿意度。2.2微調(diào)方法與策略盡管預(yù)訓(xùn)練語言模型在多種自然語言處理任務(wù)中展現(xiàn)了強(qiáng)大的泛化能力,但在實(shí)際應(yīng)用場景中,用戶需求往往具有明顯的任務(wù)特定性和領(lǐng)域定向性。為了使預(yù)訓(xùn)練模型更好地適應(yīng)下游任務(wù),如本項(xiàng)目中的“上海景點(diǎn)智能問答”,通常需要對模型進(jìn)行進(jìn)一步的微調(diào),以提升模型在特定數(shù)據(jù)上的表現(xiàn)。2.2.1微調(diào)的基本流程微調(diào)指在預(yù)訓(xùn)練模型的基礎(chǔ)上,使用領(lǐng)域相關(guān)或任務(wù)特定的數(shù)據(jù)對其進(jìn)行再訓(xùn)練的過程。他的本質(zhì)是對預(yù)訓(xùn)練模型參數(shù)進(jìn)行局部或全量調(diào)整,使其知識、行為與目標(biāo)任務(wù)更加一致。其基本流程如下:1.準(zhǔn)備下游任務(wù)數(shù)據(jù)集構(gòu)建符合任務(wù)格式的輸入輸出對,數(shù)據(jù)可以為結(jié)構(gòu)化問答對、文檔摘要、對話語料等;2.選擇合適的微調(diào)策略根據(jù)計(jì)算資源和任務(wù)需求,選擇全參數(shù)微調(diào)或參數(shù)高效微調(diào)方法;3.訓(xùn)練與驗(yàn)證在保持原始模型能力的基礎(chǔ)上優(yōu)化模型在目標(biāo)任務(wù)上的表現(xiàn);4.評估與部署使用特定指標(biāo)評估模型效果,并集成到系統(tǒng)中對外提供服務(wù)。2.2.2參數(shù)高效微調(diào)(PEFT)方法針對大模型參數(shù)規(guī)模龐大、全參數(shù)微調(diào)成本高昂的問題,近年來提出了多種參數(shù)高效微調(diào)方法,代表性的有:表2-4微調(diào)方法微調(diào)方法含義LoRA在模型的注意力層中插入可訓(xùn)練的低秩矩陣,僅更新這些新增參數(shù),大幅減少顯存占用;Prefix-Tuning不改變原模型結(jié)構(gòu),只通過添加額外的“提示”向量(prompt)來引導(dǎo)模型輸出,輕量靈活。AdapterTuning在每層之間插入小型模塊(adapter)進(jìn)行訓(xùn)練,保持原模型參數(shù)不變,兼具可控性與性能;BitFit僅對偏置項(xiàng)進(jìn)行微調(diào),保持其他參數(shù)不變。本項(xiàng)目中為了提高效率與性能,采用了當(dāng)前主流LoRA方法對Qwen模型微調(diào),確保問答系統(tǒng)在上海景點(diǎn)領(lǐng)域的高質(zhì)量輸出。該方法不僅可節(jié)省90%以上的顯存資源,還能在較短時間內(nèi)完成模型定制。2.2.3微調(diào)數(shù)據(jù)設(shè)計(jì)為提升模型在“上海景點(diǎn)”領(lǐng)域的問答能力,需構(gòu)建具備領(lǐng)域知識的數(shù)據(jù)集。主要數(shù)據(jù)來源包括:表2-5數(shù)據(jù)來源數(shù)據(jù)來源含義結(jié)構(gòu)化知識轉(zhuǎn)化將景點(diǎn)地址、開放時間、門票信息等轉(zhuǎn)為問答對形式;用戶真實(shí)問題采樣模擬用戶可能提出的自然語言提問,如“東方明珠需要預(yù)約嗎?”、“上??萍拣^怎么去?”;人工撰寫補(bǔ)充數(shù)據(jù)加多輪對話、口語化表達(dá)、多樣化提問方式等,以提升模型魯棒性;在微調(diào)過程中,需注意數(shù)據(jù)質(zhì)量與分布平衡,避免模型出現(xiàn)過擬合或偏向單一知識點(diǎn)的問題。2.3向量檢索與知識增強(qiáng)問答(RAG)傳統(tǒng)問答系統(tǒng)中,模型僅依賴輸入的問題進(jìn)行回答,難以覆蓋細(xì)節(jié)豐富或領(lǐng)域特定的知識。為了解決這一問題,出現(xiàn)了知識增強(qiáng)問答架構(gòu),如RAG。RAG通過將知識檢索和文本生成相結(jié)合,在回答問題前,從預(yù)構(gòu)建的知識庫中檢索相關(guān)內(nèi)容,并將其與問題一起作為上下文輸入給語言模型生成答案。??該結(jié)構(gòu)允許系統(tǒng)在保持通用語言能力的同時動態(tài)接入外部知識,顯著提升問答系統(tǒng)在領(lǐng)域知識、事實(shí)準(zhǔn)確性方面的表現(xiàn)。為構(gòu)建高質(zhì)量的上海景點(diǎn)知識庫,需進(jìn)行以下步驟:1.數(shù)據(jù)收集:從公開旅游平臺(如馬蜂窩、大眾點(diǎn)評、官方文旅局)采集景點(diǎn)數(shù)據(jù);2.數(shù)據(jù)清洗與切分:去除冗余、廣告語等無效文本,并按段落或句子級別切分;4.語義向量化:使用BGE-small-zh對每段文本生成768維向量;5.向量索引建立:使用FAISS構(gòu)建扁平或HNSW索引,支持Top-K檢索;6.元數(shù)據(jù)綁定:為每條向量添加景點(diǎn)名稱、所屬區(qū)域、標(biāo)簽等元信息,便于調(diào)試和顯示。??最終生成的向量知識庫可支持高效檢索,并通過與Qwen模型結(jié)合實(shí)現(xiàn)動態(tài)問答生成。2.4系統(tǒng)整體架構(gòu)綜述系統(tǒng)架構(gòu)設(shè)計(jì)遵循“模塊化、可擴(kuò)展、高可用”的基本原則,充分結(jié)合大語言模型、向量檢索與Web服務(wù)等關(guān)鍵技術(shù),形成一套集智能問答、知識增強(qiáng)與人機(jī)交互于一體的應(yīng)用解決方案。??本系統(tǒng)采用“前后端分離+模型服務(wù)與檢索服務(wù)解耦”的技術(shù)架構(gòu),整體可劃分為五個主要模塊:表2-6技術(shù)架構(gòu)五個模塊用戶交互界面(前端)應(yīng)用服務(wù)層(后端API網(wǎng)關(guān))語言模型推理服務(wù)(LLM模型)向量檢索服務(wù)(知識庫系統(tǒng))數(shù)據(jù)管理與日志系統(tǒng)各模塊間通過RESTful或WebSocket接口通信,保證系統(tǒng)響應(yīng)快速、部署靈活、功能獨(dú)立。
第3章上海景點(diǎn)數(shù)據(jù)采集3.1數(shù)據(jù)技術(shù)概述在構(gòu)建智能問答系統(tǒng)的過程中,數(shù)據(jù)的完整性與準(zhǔn)確性是系統(tǒng)性能的關(guān)鍵保障。為了使本系統(tǒng)能夠針對“上海景點(diǎn)”類問題進(jìn)行精準(zhǔn)、高效的回答,首先需要建立一個包含豐富旅游景點(diǎn)信息的知識庫。所以,本系統(tǒng)以去哪兒旅行網(wǎng)作為核心數(shù)據(jù)來源,該平臺涵蓋豐富的上海景點(diǎn)信息,包括景點(diǎn)基礎(chǔ)介紹、開放時間以及真實(shí)用戶評論等,為構(gòu)建問答系統(tǒng)提供了多元且高質(zhì)量的數(shù)據(jù)支撐。數(shù)據(jù)采集主要步驟如圖3-1:圖3-1數(shù)據(jù)采集流程圖在爬蟲過程中,采用Python結(jié)合JupyterNotebook實(shí)現(xiàn),運(yùn)用requests庫發(fā)送請求、BeautifulSoup庫解析HTML頁面,針對去哪兒旅行網(wǎng)景點(diǎn)列表頁、詳情頁和評論頁設(shè)計(jì)相應(yīng)爬蟲邏輯。在采集過程中,通過設(shè)置合理的請求頭模擬瀏覽器訪問,添加隨機(jī)請求間隔避免IP封禁,確保采集過程穩(wěn)定合規(guī)。采集完成后,利用pandas庫對數(shù)據(jù)進(jìn)行清洗和預(yù)處理,提升數(shù)據(jù)可用性。這些采集并處理后的數(shù)據(jù),將為后續(xù)大模型微調(diào)奠定堅(jiān)實(shí)基礎(chǔ),助力構(gòu)建高效精準(zhǔn)的上海景點(diǎn)智能問答系統(tǒng)。3.2數(shù)據(jù)采集技術(shù)實(shí)現(xiàn)3.2.1數(shù)據(jù)來源介紹由于去哪兒旅行網(wǎng)站的內(nèi)容主要以靜態(tài)HTML頁面形式呈現(xiàn),其頁面結(jié)構(gòu)規(guī)則清晰,且無需登錄即可訪問,便于使用Python編寫自動化爬蟲程序?qū)δ繕?biāo)數(shù)據(jù)進(jìn)行批量抓取。其次,去哪兒旅行網(wǎng)是國內(nèi)知名的旅游信息平臺,包含了大量關(guān)于景點(diǎn)介紹、用戶評價(jià)、開放時間、門票價(jià)格、交通方式等多維度數(shù)據(jù)。為此,選擇了去哪兒旅行網(wǎng)作為主要數(shù)據(jù)來源,如圖3-2:圖3-2去哪兒旅行網(wǎng)站上海景點(diǎn)數(shù)據(jù)為保證數(shù)據(jù)的多樣性和覆蓋度,本次采集覆蓋了去哪兒旅行網(wǎng)上關(guān)于“上?!本包c(diǎn)主題下的多個分頁內(nèi)容,目標(biāo)采集不少于100條有效景點(diǎn)信息。所有爬取數(shù)據(jù)將以結(jié)構(gòu)化表格CSV文件保存,并在后續(xù)處理階段進(jìn)一步清洗、去重、篩選,并轉(zhuǎn)化為問答對語料,用于知識庫構(gòu)建及模型訓(xùn)練使用。3.2.2調(diào)用庫本節(jié)以JupyterNotebook為開發(fā)環(huán)境,采用requests和BeautifulSoup等庫實(shí)現(xiàn)網(wǎng)頁爬取。圖3-3代碼——調(diào)用庫1.requests庫requests是一個非常流行且易用的Python庫,專門用于發(fā)送HTTP請求。首先,它擁有簡潔的API設(shè)計(jì),能夠以最少的代碼完成常見的HTTP操作,提高了開發(fā)效率。此外,它支持連接池管理、自動處理重定向、支持SSL證書驗(yàn)證等功能,非常適合進(jìn)行網(wǎng)頁爬蟲、API調(diào)用和網(wǎng)絡(luò)請求處理??傊瑀equests是一個功能強(qiáng)大且極其易用的HTTP請求庫,廣泛應(yīng)用于數(shù)據(jù)抓取、API接口調(diào)用等場景。2.BeautifulSoup庫BeautifulSoup是一個功能強(qiáng)大且易于使用Python網(wǎng)頁解析庫。首先,它能夠容錯處理不規(guī)范或結(jié)構(gòu)混亂的HTML網(wǎng)頁,確保解析過程穩(wěn)定可靠。其次,語法簡潔直觀,使用類似DOM的方式即可快速查找和提取標(biāo)簽、文本、屬性等內(nèi)容,非常適合初學(xué)者學(xué)習(xí)與使用。它還支持多種解析器,兼容性好,選擇靈活BeautifulSoup常與requests搭配使用,是構(gòu)建網(wǎng)頁爬蟲、采集數(shù)據(jù)的理想工具,在數(shù)據(jù)分析、信息提取、自動化測試等領(lǐng)域廣泛應(yīng)用。3.pandas庫用于數(shù)據(jù)清洗和存儲,Pandas提供了強(qiáng)大的數(shù)據(jù)清洗工具,能快速處理缺失值和噪聲,確保訓(xùn)練數(shù)據(jù)質(zhì)量;其次,內(nèi)置的向量化操作可加速特征工程,尤其適合處理GB級結(jié)構(gòu)化數(shù)據(jù)。3.2.3導(dǎo)入庫和封裝第一個函數(shù)圖3-4代碼——定義函數(shù)與封裝第一個函數(shù)如圖3-4所示,這里需要定義一個“get_url”函數(shù)爬取上海旅游景點(diǎn)信息,傳入去哪兒旅行網(wǎng)詳情頁URL,返回該景點(diǎn)的詳細(xì)字段信息以供后面直接進(jìn)行調(diào)用。輸出的結(jié)果如圖3-5所示:圖3-5代碼輸出結(jié)果3.2.4第一條景點(diǎn)數(shù)據(jù)爬取將headers和cookies以字典的方式存儲,如圖3-6所示:圖3-6代碼——存儲headers和cookies請求網(wǎng)頁信息的代碼如圖3-7所示,運(yùn)行結(jié)果為200,說明網(wǎng)址可以正常訪問并且有200頁網(wǎng)頁需要爬取,因此本次數(shù)據(jù)采集需要對200頁進(jìn)行循環(huán)處理。圖3-7代碼——請求網(wǎng)頁信息通過元素檢查,在瀏覽器中該頁面右鍵點(diǎn)擊檢查,可以發(fā)現(xiàn),整個旅游景點(diǎn)的信息都包含在[ulclass=“l(fā)ist_itemclrfix”]的標(biāo)簽里面,其中每條數(shù)據(jù)都在[li]標(biāo)簽下,其次每條標(biāo)簽上還有這個景點(diǎn)的經(jīng)緯度信息(data-lat=“31.146751”,data-lng=“121.669396”),如圖3-8所示:圖3-8元素檢查依次找到各個數(shù)據(jù)對應(yīng)的標(biāo)簽,獲取所有數(shù)據(jù)的代碼如圖3-9所示:圖3-9代碼——獲取所有數(shù)據(jù)通過對比輸出的結(jié)果和第一條旅游數(shù)據(jù)信息,可以發(fā)現(xiàn)結(jié)果是一致的,如圖3-10所示:圖3-10對比信息3.2.5封裝第二個函數(shù)為了方便調(diào)用,第一條旅游景點(diǎn)數(shù)據(jù)完成后需要對數(shù)據(jù)進(jìn)行遍歷輸出,并封裝成為函數(shù),代碼如圖3-11所示:圖3-11代碼——封裝第二個函數(shù)3.2.6數(shù)據(jù)存儲圖3-12代碼——數(shù)據(jù)存儲數(shù)據(jù)將保存在本地CSV文件中,文件命名為“去哪兒網(wǎng)數(shù)據(jù)爬取.csv”并保存起來,便于后續(xù)處理和向量化構(gòu)建。
第4章上海景點(diǎn)數(shù)據(jù)預(yù)處理4.1數(shù)據(jù)預(yù)處理技術(shù)介紹在構(gòu)建自然語言處理系統(tǒng)時,原始數(shù)據(jù)往往存在噪聲、不一致或冗余信息,因此需要通過數(shù)據(jù)預(yù)處理技術(shù)提升數(shù)據(jù)質(zhì)量,為模型訓(xùn)練打下良好基礎(chǔ)。主要目標(biāo)是清洗和規(guī)范化原始數(shù)據(jù),以適應(yīng)下游模型的輸入需求,提高訓(xùn)練效果和泛化能力。常用的數(shù)據(jù)預(yù)處理技術(shù)主要有以下幾種方法:表4-1主要的數(shù)據(jù)預(yù)處理技術(shù)技術(shù)名稱主要功能說明示例/工具文本清洗去除HTML標(biāo)簽、標(biāo)點(diǎn)符號、特殊字符、重復(fù)空格等正則表達(dá)式、BeautifulSoup分詞將連續(xù)的文本切分為有意義的詞語單元Jieba、PKU分詞去除停用詞刪除無實(shí)際語義的常見詞(如“的”“是”“在”)自定義停用詞表詞性還原詞語還原為原型(如將“去了”還原為“去”)NLTK、spaCy向量化將文本轉(zhuǎn)換為向量形式以供模型處理(如TF-IDF、詞向量)TF-IDF、Word2Vec、BERT通過對原始數(shù)據(jù)進(jìn)行清洗和規(guī)整,能夠剔除冗余信息與噪聲數(shù)據(jù),從而使模型更加專注于有價(jià)值的特征,提升預(yù)測精度與泛化能力。其次,預(yù)處理過程有助于處理缺失值和異常值問題。通過刪除、填補(bǔ)或插值等方法,可以避免因數(shù)據(jù)缺失導(dǎo)致模型無法正常訓(xùn)練或產(chǎn)生偏差。總的來說,良好的數(shù)據(jù)預(yù)處理不僅能提高模型的準(zhǔn)確率和穩(wěn)定性,還能降低系統(tǒng)資源消耗,為后續(xù)建模打下堅(jiān)實(shí)基礎(chǔ)。因此,在構(gòu)建智能問答系統(tǒng)等應(yīng)用中,數(shù)據(jù)預(yù)處理是確保系統(tǒng)質(zhì)量與可靠性的關(guān)鍵環(huán)節(jié)。4.2上海景點(diǎn)數(shù)據(jù)預(yù)處理目標(biāo)4.2.1構(gòu)建指令式數(shù)據(jù)格式我們使用的是Qwen大語言模型,所以使用“指令微調(diào)”方式進(jìn)行訓(xùn)練數(shù)據(jù),其目標(biāo)是使模型學(xué)會根據(jù)用戶輸入的指令(Instruction)生成對應(yīng)的回答(Output)。因此,數(shù)據(jù)需要轉(zhuǎn)換為Alpaca格式作為訓(xùn)練數(shù)據(jù)結(jié)構(gòu),如圖4-1所示:圖4-1數(shù)據(jù)轉(zhuǎn)化的格式Alpaca格式優(yōu)勢明顯,包括結(jié)構(gòu)清晰、適用于各種任務(wù)類型、與Qwen等模型兼容性強(qiáng),廣泛用于中文微調(diào)項(xiàng)目中。4.2.2指令構(gòu)造策略由于原始數(shù)據(jù)主要是去哪兒網(wǎng)的用戶評論文本,未包含明確的問題或問答結(jié)構(gòu),因此需人工設(shè)計(jì)一套模板用于構(gòu)造instruction字段。本系統(tǒng)需要根據(jù)“景點(diǎn)名稱”字段,自動生成問題模板,具體個例如表4-2所示:表4-2模板舉例模板編號模板內(nèi)容T1介紹一下景點(diǎn)[景點(diǎn)名稱]。T2你覺得[景點(diǎn)名稱]怎么樣?T3[景點(diǎn)名稱]值得一去嗎?為什么?T4[景點(diǎn)名稱]有什么優(yōu)缺點(diǎn)?本系統(tǒng)最終采用模板T1進(jìn)行統(tǒng)一格式構(gòu)造,以保證instruction一致性,利于模型學(xué)習(xí)穩(wěn)定性。4.3數(shù)據(jù)預(yù)處理實(shí)現(xiàn)4.3.1讀取.csv文件在這一過程中,我們使用通過上一章爬取的文件名為“去哪兒網(wǎng)數(shù)據(jù)爬取.csv”的數(shù)據(jù)。根據(jù)輸出可知,文件中存在一個名為'Sheet1'的工作表。接下來將查看'Sheet1'這個表格的具體數(shù)據(jù)情況。由于大模型微調(diào)主要關(guān)注問答形式數(shù)據(jù),因此本次預(yù)處理將重點(diǎn)提取評論內(nèi)容并構(gòu)造與之相匹配的問題,構(gòu)建“指令-輸出”對。圖4-2代碼——查看文件數(shù)據(jù)4.3.2讀取數(shù)據(jù)集圖4-3代碼——查看數(shù)據(jù)在導(dǎo)入文件之后,我們查看了文件名為“去哪兒網(wǎng)數(shù)據(jù)爬取.csv”的前幾行數(shù)據(jù),數(shù)據(jù)包括景點(diǎn)名稱、攻略數(shù)量、評分、簡介、排名、經(jīng)緯度等,數(shù)據(jù)展示如圖4-4所示。圖4-4部分?jǐn)?shù)據(jù)展示4.3.3數(shù)據(jù)清洗我們通過觀察爬取數(shù)據(jù)發(fā)現(xiàn),簡介和排名屬性都存在不同程度的缺失值情況。而簡介和排名為不同屬性,所以我們需要針對不同的缺失值需要采取不同的處理方法。缺失值表示該景點(diǎn)無評論,所以我們可以將這些缺失值以相應(yīng)的情況進(jìn)行填充,如圖4-5所示。圖4-5代碼——缺失值處理其次,對于簡介列中的文本,進(jìn)行一些常規(guī)的文本清洗操作,如去除特殊字符、轉(zhuǎn)換為統(tǒng)一的大小寫格式等。代碼如圖4-6所示。圖4-6代碼——文本清洗4.3.4數(shù)據(jù)格式轉(zhuǎn)換大模型通常對輸入數(shù)據(jù)的格式有一定要求,所以我們需要轉(zhuǎn)換為JSON文本格式,具體代碼如圖4-7所示。圖4-7代碼——格式轉(zhuǎn)換這里orient='records'表示將每行數(shù)據(jù)轉(zhuǎn)換為一個JSON對象,通過此次操作可以確保非ASCII字符能正確顯示。4.3.5數(shù)據(jù)劃分為了評估大模型在微調(diào)后的性能,通常需要將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集。一般的比例可以是70%(訓(xùn)練集)、15%(驗(yàn)證集)、15%(測試集)??梢允褂胹klearn庫來進(jìn)行劃分,如圖4-8所示,方便供后續(xù)模型微調(diào)及評估使用。圖4-8代碼——數(shù)據(jù)劃分
第5章系統(tǒng)實(shí)現(xiàn)與展示本章將圍繞“基于大模型微調(diào)的上海景點(diǎn)智能問答系統(tǒng)”的開發(fā)過程,介紹系統(tǒng)的實(shí)際開發(fā)環(huán)境、關(guān)鍵模塊實(shí)現(xiàn)過程、界面展示效果以及部署流程。系統(tǒng)采用Python語言開發(fā),核心依賴包括HuggingFaceTransformers框架、FAISS向量索引庫、Streamlit輕量級前端展示工具等,基于本地部署方式運(yùn)行。5.1開發(fā)環(huán)境與技術(shù)選型為確保系統(tǒng)性能與可維護(hù)性,開發(fā)過程中選用了如下軟硬件與技術(shù)工具:表5-1開發(fā)環(huán)境與技術(shù)選型表類別配置/工具操作系統(tǒng)Windows11開發(fā)語言Python3.10模型平臺HuggingFaceTransformers+PEFT微調(diào)工具LoRA知識庫工具FAISS+JSON前端框架Gradio模型版本Qwen1.5-0.5B-Chat硬件配置NVIDIAA10040GB/RTX3090技術(shù)選型注重輕量化、易復(fù)現(xiàn)與可部署性,適合中小規(guī)模項(xiàng)目部署與后期迭代。本系統(tǒng)運(yùn)行于JupyterNotebook環(huán)境,安裝所需庫如圖5-1所示。圖5-1代碼——安裝庫1.transformers用于加載和調(diào)用Qwen模型。2.text2vec用于將中文文本轉(zhuǎn)化為語義向量。3.faiss-cpu用于高效的向量相似度檢索。4.gradio用于快速構(gòu)建可交互的網(wǎng)頁界面。5.2構(gòu)建智能景點(diǎn)問答系統(tǒng)本系統(tǒng)整體架構(gòu)基于“用戶輸入,語義向量化,知識檢索,大模型生成,響應(yīng)輸出”的閉環(huán)流程,實(shí)現(xiàn)了旅游景點(diǎn)領(lǐng)域的智能問答服務(wù)。系統(tǒng)由前后端一體化構(gòu)建,主要包含五大核心模塊:5.2.1用戶交互界面系統(tǒng)前端采用Gradio框架開發(fā),主要負(fù)責(zé)用戶輸入、答案展示與交互反饋等功能。其優(yōu)點(diǎn)是輕量、開源、支持快速部署,尤其適合原型系統(tǒng)開發(fā)與演示。主界面代碼和運(yùn)行結(jié)果如圖5-1所示。圖5-1用戶界面代碼及結(jié)果展示5.2.2模型加載與構(gòu)建知識庫文檔通過加載“Qwen1.5-0.5B-Chat”模型用于問答生成,使用JSON用于構(gòu)建知識庫文檔,示例代碼如圖5-2所示。圖5-2代碼——加載模型和構(gòu)建向量檢索5.2.3生成向量并構(gòu)建Faiss檢索通過采用text2vec模型將景點(diǎn)文本轉(zhuǎn)化為向量,并利用Faiss構(gòu)建向量索引庫,實(shí)現(xiàn)與用戶問題的相似匹配。其次,使用FAISS建立向量索引,實(shí)現(xiàn)高效的相似度搜索,將語義接近的知識片段召回并用于增強(qiáng)大模型生成效果。示例代碼如圖5-3所示。圖5-3加載FAISS向量庫5.2.4檢索相關(guān)文檔通過FAISS向量聯(lián)數(shù)據(jù)庫根據(jù)用戶查詢,從大量文檔中智能匹配、篩選和返回與問題最相關(guān)的信息資源,為后續(xù)理解、決策或生成提供基礎(chǔ)支持。圖5-4代碼——檢索文檔5.2.5加載Qwen模型并生成回答本系統(tǒng)調(diào)用阿里通義千問模型,該系統(tǒng)使用的模型是“Qwen1.5-0.5B-Chat”,通過上下文補(bǔ)全技術(shù)生成自然語言回答。通過加載Qwen模型,為接下來構(gòu)建智能問答系統(tǒng)做準(zhǔn)備,具體代碼如圖5-5所示。圖5-5代碼——加載Qwen模型并生成回答5.2.6構(gòu)造Prompt模型生成回答在這一過程中,通過構(gòu)建Prompt輸入微調(diào)后的Qwen模型,生成符合語境且貼近事實(shí)的自然語言回答。實(shí)現(xiàn)代碼如圖5-6所示。圖5-6代碼——構(gòu)造prompt5.2.7構(gòu)建頁面通過gradio庫構(gòu)建頁面,運(yùn)行結(jié)果會顯示一個URL,通過點(diǎn)擊該鏈接“:7872”來實(shí)現(xiàn)智能問答。具體代碼如圖5-5所示。圖5-5代碼——建立頁面5.3系統(tǒng)運(yùn)行展示5.3.1系統(tǒng)啟動界面系統(tǒng)部署完成后,通過點(diǎn)擊該鏈接“:7872”在本地瀏覽器中即可打開主界面。系統(tǒng)首頁包含標(biāo)題、功能說明、問題輸入框和結(jié)果展示區(qū)域,如圖5-6所示。圖5-6系統(tǒng)頁面展示圖用戶可直接在輸入框中輸入與上海景點(diǎn)相關(guān)的問題,系統(tǒng)會自動調(diào)用問答引擎進(jìn)行處理。界面整體布局簡潔明了,主要由系統(tǒng)標(biāo)題欄、功能提示說明、問題輸入框、提交按鈕(隱式觸發(fā))、問答輸出區(qū)域和對話清除按鈕組成。5.3.2用戶問答交互過程用戶提交問題后,系統(tǒng)會自動執(zhí)行以下流程:1.輸入處理用戶在輸入框中鍵入關(guān)于上海景點(diǎn)的具體問題。系統(tǒng)支持多種問題類型,包括景點(diǎn)的基本信息。2.向量生成與知識檢索使用BGE中文模型對用戶問題進(jìn)行語義向量編碼;系統(tǒng)將用戶輸入的自然語言問題轉(zhuǎn)化為語義向量,系統(tǒng)會執(zhí)行語義向量生成和向量檢索。3.Prompt構(gòu)造與模型調(diào)用prompt將用戶的問題和相關(guān)知識片段結(jié)合,確保模型可以基于上下文信息進(jìn)行推理和生成。4.模型生成回答與答案展示Qwen模型基于構(gòu)造好的Prompt進(jìn)行推理,并生成自然語言的回答。系統(tǒng)會根據(jù)模型的輸出生成最終的問答結(jié)果,系統(tǒng)會將生成的回答呈現(xiàn)給用戶。整個用戶問答交互過程簡潔高效,用戶只需在輸入框中提出問題,系統(tǒng)就能夠迅速且準(zhǔn)確地返回答案,極大地提升了用戶體驗(yàn)。5.3.3系統(tǒng)輸出結(jié)果展示當(dāng)用戶在輸入框中輸入一個問題后,系統(tǒng)基于用戶輸入的問題,通過向量檢索模塊獲取相關(guān)背景知識,并結(jié)合微調(diào)后的Qwen大模型生成自然語言回答。以下展示典型問答結(jié)果,體現(xiàn)系統(tǒng)在處理上海本地景點(diǎn)問答任務(wù)中的能力。如圖5-7所示:圖5-7系統(tǒng)輸出結(jié)果展示圖5.3.4系統(tǒng)響應(yīng)速度與穩(wěn)定性展示為了驗(yàn)證“上海景點(diǎn)智能問答系統(tǒng)”的實(shí)際可用性,本節(jié)對系統(tǒng)的響應(yīng)速度和運(yùn)行穩(wěn)定性進(jìn)行了測試與展示,確保其在真實(shí)使用場景中具備良好的用戶體驗(yàn),在模擬用戶連續(xù)提問的環(huán)境下,系統(tǒng)每輪問答所需時間記錄如表5-2所示:表5-2響應(yīng)速度測試表測試輪次提問內(nèi)容響應(yīng)時間(秒)第1輪上??萍拣^的開放時間是多少?1.83第2輪東方明珠門票多少錢?1.94第3輪從人民廣場怎么去豫園?2.01第4輪上海迪士尼周末人多嗎?2.08平均響應(yīng)時間為1.92秒,符合實(shí)際應(yīng)用中對智能問答系統(tǒng)的響應(yīng)效率要求。系統(tǒng)響應(yīng)過程包括向量檢索、Qwen模型調(diào)用與結(jié)果生成,整體延遲控制較為合理。2.系統(tǒng)穩(wěn)定性說明系統(tǒng)部署在云端平臺,采用異步請求機(jī)制和異常處理模塊以確保服務(wù)的持續(xù)穩(wěn)定運(yùn)行。測試結(jié)果表明連續(xù)運(yùn)行2小時、共計(jì)問答120輪,系統(tǒng)無崩潰或嚴(yán)重卡頓現(xiàn)象。
第6章模型測試與分析本章旨在通過系統(tǒng)化的測試方法,驗(yàn)證“基于大模型微調(diào)的上海景點(diǎn)智能問答系統(tǒng)”的功能完整性和性能表現(xiàn)。6.1功能測試6.1.1模塊功能測試我們主要檢測了四個標(biāo)志性問題,通過檢測測試結(jié)果通過,測試結(jié)果如圖6-1所示。圖6-1系統(tǒng)測試結(jié)果展示圖6.1.2系統(tǒng)集成測試系統(tǒng)集成測試旨在驗(yàn)證整個問答流程中各模塊的協(xié)同工作能力,確保前后端、向量檢索與大語言模型協(xié)作流暢。測試過程如圖6-2所示:圖6-2測試流程圖我們抽取了兩個典型問答,集成測結(jié)果如圖6-3所示:圖6-3集成結(jié)果測試圖測試結(jié)果表明系統(tǒng)整體問答流程邏輯順暢,數(shù)據(jù)流動正常,模塊間接口協(xié)同良好。在集成測試中未發(fā)現(xiàn)明顯功能缺陷,回答顯示正常輸出。6.2性能測試分析響應(yīng)時間是衡量用戶體驗(yàn)的關(guān)鍵指標(biāo)。測試內(nèi)容涵蓋不同類型的問題(熱門景點(diǎn)、冷門景點(diǎn)、復(fù)雜問句等),每類問題測試10輪,結(jié)果如下表6-2所示:表6-2響應(yīng)時間測試表測試類別示例問題平均響應(yīng)時間(秒)最長時間(秒)最短時間(秒)熱門景點(diǎn)查詢“外灘在哪?”1.852.11.6冷門景點(diǎn)查詢“韓湘水博園介紹”2.342.72.0模型無結(jié)果問題“外星博物館在哪?”1.421.61.3分析表明在大部分場景下,系統(tǒng)響應(yīng)時間保持在2.5秒以內(nèi);多輪問句或復(fù)合問句由于需要更復(fù)雜的上下文處理,耗時略高;冷門景點(diǎn)檢索涉及匹配精度下降,影響小部分響應(yīng)速度;整體響應(yīng)時間滿足實(shí)際使用要求,用戶體驗(yàn)良好。6.3問答準(zhǔn)確率與滿意度評估準(zhǔn)確率評估采用“是否能正確回答問題”為標(biāo)準(zhǔn),評判回答是否涵蓋了問題中的核心要素。評分分為“準(zhǔn)確”“部分準(zhǔn)確”“錯誤”三類,具體結(jié)果如表6-3所示。表6-3準(zhǔn)確率評估表問題類型樣本數(shù)準(zhǔn)確回答數(shù)部分準(zhǔn)確錯誤回答Top-1準(zhǔn)確率景點(diǎn)簡介25232092%景點(diǎn)歷史文化15132086.7%景點(diǎn)位置15131186.7%景點(diǎn)評價(jià)15113173.3%總體70608284%試驗(yàn)結(jié)果表明系統(tǒng)整體準(zhǔn)確率達(dá)84%,已具備實(shí)用問答能力。系統(tǒng)在結(jié)構(gòu)化問題(如票價(jià)、開放時間)表現(xiàn)優(yōu)異,準(zhǔn)確率超過85%,模型具備良好的問答穩(wěn)定性。6.4測試總結(jié)與問題改進(jìn)6.4.1測試總結(jié)從測試結(jié)果來看,系統(tǒng)表現(xiàn)出以下優(yōu)點(diǎn):1.功能實(shí)現(xiàn)完整:所有主要模塊均通過測試,能夠支持從用戶提問到生成答案的完整流程;2.性能表現(xiàn)良好:平均響應(yīng)時間保持在2.5秒以內(nèi),支持中等強(qiáng)度并發(fā)訪問,適用于實(shí)際部署;3.問答準(zhǔn)確度較高:系統(tǒng)在結(jié)構(gòu)化問題上的回答準(zhǔn)確率達(dá)85%以上,整體Top-1準(zhǔn)確率達(dá)84%;4.用戶滿意度較高:主觀體驗(yàn)評分達(dá)4.0分,用戶反饋系統(tǒng)“實(shí)用性強(qiáng)”“界面友好”。這些結(jié)果說明本系統(tǒng)具備良好的穩(wěn)定性與用戶接受度,可在城市導(dǎo)覽、旅游咨詢等場景中落地應(yīng)用。6.4.2存在的問題與改進(jìn)建議盡管系統(tǒng)整體表現(xiàn)較為優(yōu)異,但在測試中也暴露出部分問題,需進(jìn)一步優(yōu)化,如表6-4所示:表6-4問題類別與改進(jìn)建議表問題類別具體表現(xiàn)改進(jìn)建議冷門景點(diǎn)回答不足對知識庫中覆蓋率較低的景點(diǎn),如韓湘水博園,回答模糊擴(kuò)充知識庫,采集更多景點(diǎn)文本資料,提升知識覆蓋面主觀性問答效果偏弱如“適合帶孩子去的景點(diǎn)有哪些?”生成回答較為普通引入標(biāo)簽化數(shù)據(jù)+規(guī)則模板,引導(dǎo)模型輸出更具參考性的建議并發(fā)訪問能力有限在并發(fā)超過70時響應(yīng)時間明顯上升,模型推理耗時高引入異步隊(duì)列機(jī)制、模型加速框架(如vLLM、TensorRT),提高吞吐能力6.4.3后續(xù)優(yōu)化方向根據(jù)上述分析,未來系統(tǒng)可在以下方面持續(xù)優(yōu)化:1.豐富知識庫建設(shè):采用爬蟲+人工整理方式,補(bǔ)充更多景點(diǎn)文檔、用戶評論、路線推薦等;2.優(yōu)化模型推理效率:探索更輕量的大模型部署方案,如Qwen模型的INT4量化版本;3.增強(qiáng)人機(jī)交互性:加入語音輸入、地圖標(biāo)注、圖文推薦等功能,提升交互體驗(yàn);綜上所述,本系統(tǒng)在功能、性能和問答質(zhì)量方面已達(dá)預(yù)期目標(biāo),具備實(shí)際應(yīng)用價(jià)值。通過持續(xù)優(yōu)化,將有望進(jìn)一步提升系統(tǒng)的智能水平與服務(wù)能力。
第7章總結(jié)與展望7.1研究總結(jié)本課題以“基于大模型微調(diào)的上海景點(diǎn)智能問答系統(tǒng)”為主題,圍繞景點(diǎn)信息智能服務(wù)的現(xiàn)實(shí)需求,完成了從系統(tǒng)設(shè)計(jì)、模型微調(diào)到后端實(shí)現(xiàn)與交互界面開發(fā)的全過程。主要成果如下:(1)系統(tǒng)架構(gòu)設(shè)計(jì)合理:提出了一種“語義向量檢索+大模型生
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年大學(xué)心理健康(壓力應(yīng)對)試題及答案
- 2025年大學(xué)地理學(xué)(地理教育心理學(xué))試題及答案
- 2025年中職建筑裝飾材料(材料選擇)試題及答案
- 2025年中職至大學(xué)階段(烹飪食品類)專業(yè)知識綜合測試試題及答案
- 2026年會計(jì)電算化(賬務(wù)案例)試題及答案
- 2025年中職電子技術(shù)應(yīng)用(元器件檢測)試題及答案
- 2025年大學(xué)第二學(xué)年(計(jì)算機(jī)科學(xué)與技術(shù))數(shù)據(jù)結(jié)構(gòu)試題及答案
- 2025年中職建筑設(shè)計(jì)(建筑設(shè)計(jì)實(shí)務(wù))試題及答案
- 2025年中職第四學(xué)年(會展總結(jié)與評估)評估報(bào)告階段測試題及答案
- 2025年中職機(jī)電技術(shù)應(yīng)用(電氣設(shè)備安裝)試題及答案
- 中遠(yuǎn)海運(yùn)集團(tuán)筆試題目2026
- 2026年中國熱帶農(nóng)業(yè)科學(xué)院橡膠研究所高層次人才引進(jìn)備考題庫含答案詳解
- 2025-2026學(xué)年四年級英語上冊期末試題卷(含聽力音頻)
- 浙江省2026年1月普通高等學(xué)校招生全國統(tǒng)一考試英語試題(含答案含聽力原文含音頻)
- 2026屆川慶鉆探工程限公司高校畢業(yè)生春季招聘10人易考易錯模擬試題(共500題)試卷后附參考答案
- 股骨頸骨折患者營養(yǎng)護(hù)理
- 2026年廣西出版?zhèn)髅郊瘓F(tuán)有限公司招聘(98人)考試參考題庫及答案解析
- 醫(yī)源性早發(fā)性卵巢功能不全臨床治療與管理指南(2025版)
- 甘肅省平?jīng)鍪?2025年)輔警協(xié)警筆試筆試真題(附答案)
- 中國雙相障礙防治指南(2025版)
- 北師大版(2024)小學(xué)數(shù)學(xué)一年級上冊期末綜合質(zhì)量調(diào)研卷(含答案)
評論
0/150
提交評論