德爾菲法(Delphi).ppt_第1頁
德爾菲法(Delphi).ppt_第2頁
德爾菲法(Delphi).ppt_第3頁
德爾菲法(Delphi).ppt_第4頁
德爾菲法(Delphi).ppt_第5頁
已閱讀5頁,還剩36頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、德爾菲法(Delphi),德爾菲法的介紹,德爾菲法(Delphi)的介紹: 定義 由來,德爾菲法是專家調(diào)查法中很重要的一種方法,它是根據(jù)經(jīng)過調(diào)查得到的情況,憑借專家的知識(shí)和經(jīng)驗(yàn),直接或經(jīng)過簡(jiǎn)單的推算,對(duì)研究對(duì)象進(jìn)行綜合分析研究,尋求其特性和發(fā)展規(guī)律,并進(jìn)行預(yù)測(cè)的一種方法。,它的最大優(yōu)點(diǎn)是簡(jiǎn)便直觀,無需建立繁瑣的數(shù)學(xué)模型,而且在缺乏足夠統(tǒng)計(jì)數(shù)據(jù)和沒有類似歷史事件可借鑒的情況下,也能對(duì)研究對(duì)象的未知或未來的狀態(tài)作出有效的預(yù)測(cè)。,德爾菲法的定義,德爾菲法的由來,德爾菲法(Delphi)的名稱來源于古希臘的一則神話。德爾菲是古希臘的一個(gè)地名。當(dāng)?shù)赜幸蛔⒉_神殿,是眾神占卜未來的地方。,德爾菲法的由來

2、,德爾菲法最早出現(xiàn)于20世紀(jì)50年代末期。當(dāng)時(shí)美國(guó)政府組織了一批專家,要求他們站在蘇軍戰(zhàn)略決策者的角度,最優(yōu)地選擇在未來大戰(zhàn)中將被轟炸的美國(guó)目標(biāo),為美軍決策人員提供參考。在1964年,美國(guó)蘭德公司的赫爾姆和戈?duì)柕鞘状螌⒌聽柗品☉?yīng)用于科技預(yù)測(cè)中,并發(fā)表了長(zhǎng)遠(yuǎn)預(yù)測(cè)研究報(bào)告。此后,德爾菲法便迅速在美國(guó)和其他許多國(guó)家廣泛應(yīng)用 。,德爾菲法的由來,德爾菲法(Delphi) 法除用于科技預(yù)測(cè)外,還廣泛用于政策制定、經(jīng)營(yíng)預(yù)測(cè)、方案評(píng)估等方面。發(fā)展到現(xiàn)在,德爾菲法在信息分析研究中,特別是在預(yù)測(cè)研究中占有重要的地位。,德爾菲法的特點(diǎn),德爾菲法有如下三個(gè)主要特點(diǎn): 匿名性 反饋性 統(tǒng)計(jì)性,德爾菲法的特點(diǎn),匿名性

3、從事預(yù)測(cè)的專家彼此互不知道其他有哪些人參加預(yù)測(cè),他們是在完全匿名的情況下交流思想的。 德爾菲法采取匿名的發(fā)函調(diào)查的形式,它克服了專家會(huì)議調(diào)查法易受權(quán)威影響,易受會(huì)議潮流、氣氛影響和其他心理影響的缺點(diǎn)。專家們可以不受任何干擾地獨(dú)立對(duì)調(diào)查表所提問題發(fā)表自己的意見,而且有充分的時(shí)間思考和進(jìn)行調(diào)查研究、查閱資料。匿名性保證了專家意見的充分性和可靠性。,德爾菲法的特點(diǎn),反饋性 由于德爾菲法采用匿名形式,專家之間互不接觸,僅靠一輪調(diào)查,專家意見往往比較分散,不易作出結(jié)論,為了使受邀的專家們能夠了解每一輪咨詢的匯總情況和其他專家的意見,組織者要對(duì)每一輪咨詢的結(jié)果進(jìn)行整理、分析、綜合,并在下一輪咨詢中反饋給每

4、個(gè)受邀專家,以便專家們根據(jù)新的調(diào)查表進(jìn)一步地發(fā)表意見。,德爾菲法的特點(diǎn),統(tǒng)計(jì)性 在應(yīng)用德爾菲法進(jìn)行信息分析與預(yù)測(cè)研究時(shí),對(duì)研究課題的評(píng)價(jià)或預(yù)測(cè)既不是由信息分析研究人員做出的,也不是由個(gè)別專家給出的,而是由一批有關(guān)的專家給出的,并對(duì)諸多專家的回答必須進(jìn)行統(tǒng)計(jì)學(xué)處理。 所以,應(yīng)用德爾菲法所得的結(jié)果帶有統(tǒng)計(jì)學(xué)的特征,往往以概率的形式出現(xiàn),它既反映了專家意見的集中程度,又可以反映專家意見的離散程度。,具體步驟:,(1)確定調(diào)查預(yù)測(cè)目標(biāo)。調(diào)查組織者明確調(diào)查主題,設(shè)計(jì)調(diào)查問卷或調(diào)查提綱,收集整理有關(guān)調(diào)查主題的背景材料,做好調(diào)查前的準(zhǔn)備工作。 (2)選聘專家。人數(shù)一般為10-15人,如果是重大預(yù)測(cè)項(xiàng)目,可以

5、超過此數(shù)。 (3)反復(fù)征詢專家意見。一般3-5輪。 (4)對(duì)各專家最后一次征詢的意見進(jìn)行統(tǒng)計(jì)處理,作出調(diào)查預(yù)測(cè)結(jié)果。,德爾菲法的構(gòu)成要素,德爾菲法由三個(gè)要素組成: 協(xié)調(diào)人 一群與決策問題有關(guān)的專家 一套特制的咨詢調(diào)查表和程序,協(xié)調(diào)人的主要工作是,確定要咨詢的問題 挑選專家 寄出咨詢調(diào)查表 收集、歸納綜合、整理 反饋調(diào)查結(jié)果,進(jìn)行下一輪的意見再征詢 提出預(yù)測(cè)報(bào)告或者決策意見,專家:是指對(duì)所要預(yù)測(cè)的問題有一定的專門知識(shí),有豐富的經(jīng)驗(yàn),能為解決預(yù)測(cè)問題提供某些較為深刻見解的人員。 專家的代表性:一方面應(yīng)根據(jù)預(yù)測(cè)所涉及的領(lǐng)域,去選擇有關(guān)的專家;另一方面,還要考慮到專家所屬的部門和單位的廣泛性。這樣可以

6、代表不同的意見,相互啟發(fā),使認(rèn)識(shí)向正確的方向統(tǒng)一。 專家人數(shù)要視預(yù)測(cè)問題的規(guī)模而定,一般以1015人為宜。人數(shù)太少,學(xué)科的代表性受到限制,并缺乏權(quán)威,影響預(yù)測(cè)精度。人數(shù)太多則組織較困難,但對(duì)一些重大問題也可擴(kuò)大到100人以上。在確定專家人數(shù)時(shí),值得注意的是,即使專家同意參加該項(xiàng)目研究,因種種原因也不一定每輪必答,有時(shí)甚至中途退出。因此,在預(yù)選專家人數(shù)時(shí)應(yīng)適當(dāng)多選一些專家,以留有余地。,選擇合適的專家-成敗的關(guān)鍵,在選擇專家時(shí),大體按如下順序進(jìn)行。 1. 編制征求專家應(yīng)答問題的一覽表; 2. 根據(jù)預(yù)測(cè)問題,編制所需專家類型一覽表; 3. 將預(yù)測(cè)問題一覽表發(fā)給每個(gè)專家,征詢他們能否參加規(guī)定問題的預(yù)

7、測(cè); 4. 確定每個(gè)參加預(yù)測(cè)的專家從事預(yù)測(cè)所消耗的時(shí)間和經(jīng)費(fèi)。,選擇專家程序,調(diào)查表的制定,對(duì)德爾菲法作出簡(jiǎn)要的說明 問題要集中 避免組合問題 用詞要確切 征詢調(diào)查表要簡(jiǎn)化 要限制問題的數(shù)量 不應(yīng)強(qiáng)加領(lǐng)導(dǎo)小組的意見,調(diào)查表的設(shè)計(jì),調(diào)查表是德爾菲法預(yù)測(cè)的主要手段,它設(shè)計(jì)的好與壞,直接影響預(yù)測(cè)的質(zhì)量。在設(shè)計(jì)問題表時(shí),應(yīng)注意以下幾點(diǎn): 1. 問題必須提得非常清楚,用詞要確切 在所設(shè)計(jì)的問題表中,所提的問題的含義只能有一種解釋,而且用詞要確切,不得有不明確或易產(chǎn)生不同理解的情況。 2. 問題要集中中并有針對(duì)性,不要過于分散,以便使各個(gè)事件構(gòu)成一個(gè)有機(jī)的整體。問題要有邏輯順序,先整體,后局部。同等問題中

8、,先簡(jiǎn)單,后復(fù)雜。這樣由淺入深的排列,或者按問題的分類排列,易于引起專家回答問題的重視與興趣。,調(diào)查表的設(shè)計(jì),3. 問題的數(shù)量不要太多 問題的數(shù)量不僅取決于應(yīng)答要求的類型,同時(shí)還取決于專家可能作出應(yīng)答的上限。如果問題只要求作出簡(jiǎn)單的回答,數(shù)量可多些。如果問題比較復(fù)雜,則數(shù)量要少些。嚴(yán)格的界定是沒有的,一般可以認(rèn)為問題數(shù)量的上限以25個(gè)為宜,以便每一位專家在2小時(shí)內(nèi)回答完問題。如果問題超過50個(gè),則評(píng)估領(lǐng)導(dǎo)小組就要認(rèn)真研究,問題是否過于分散而影響應(yīng)答質(zhì)量。,調(diào)查表的設(shè)計(jì),4. 問題表要簡(jiǎn)化 問題表應(yīng)有助于專家作出評(píng)價(jià),應(yīng)使專家把主要精力用于思考問題,而不是用在理解復(fù)雜、混亂的調(diào)查問卷上。專家咨詢

9、表應(yīng)答的要求,最好是以“”或填空的方式列出。問題表還應(yīng)留有足夠的地方,以便專家闡明意見或理由。事實(shí)證明,一個(gè)設(shè)計(jì)好的專家咨詢表,將得到事半功倍的效果。,5. 領(lǐng)導(dǎo)小組意見不應(yīng)強(qiáng)加于問題表中 為了保證預(yù)測(cè)結(jié)果的可靠性,領(lǐng)導(dǎo)小組不要把自己的觀點(diǎn)加在問題表中,作為反饋材料提供給應(yīng)答專家。這樣處理勢(shì)必出現(xiàn)誘導(dǎo)現(xiàn)象,導(dǎo)致預(yù)測(cè)結(jié)果不可靠。,調(diào)查表的設(shè)計(jì),德爾菲法的實(shí)施過程,經(jīng)典的德爾菲法一般包括以下四輪的征詢調(diào)查,且在調(diào)查過程中包含著每輪間的反饋:,德爾菲法的實(shí)施過程,第一輪 主持者將一份事先沒有經(jīng)過嚴(yán)密組織、結(jié)構(gòu)松散、沒有具體目的,僅僅指出預(yù)測(cè)課題、不帶任何框框的問題表、發(fā)給根據(jù)預(yù)測(cè)課題所在領(lǐng)域選擇的各

10、個(gè)專家。 經(jīng)過一定的時(shí)間期限,主持者將第一輪問題表收回后,對(duì)專家們提出的所有意見加以匯總、整理、剔除對(duì)預(yù)測(cè)目的無關(guān)或意義不大的意見,用標(biāo)準(zhǔn)術(shù)語綜合出第二份問題表。,德爾菲法的實(shí)施過程,第二輪 將經(jīng)過匯總處理的第二份問題表,由主持者發(fā)給每個(gè)專家,專家應(yīng)當(dāng)就第二份問題表所列事件作出評(píng)價(jià),并闡明理由。 主持者將第二份問題表收回后,對(duì)專家意見再次進(jìn)行處理匯總,綜合出第三份問題表。,德爾菲法的實(shí)施過程,第三輪 主持者將第三份問題表發(fā)給每位專家。每位專家應(yīng)當(dāng)根據(jù)第三份問題表,對(duì)匯總的各種意見、理由進(jìn)行評(píng)價(jià)。 專家們經(jīng)過修正和新的論證后再寄給主持者。主持者再次總結(jié)專家們的意見綜合出第四份問題表。,德爾菲法的

11、實(shí)施過程,第四輪 主持者將包括事件表,對(duì)專家的各種評(píng)價(jià)等內(nèi)容的第四份問題表最后再寄給每位專家。每位專家必須考慮各種論證和評(píng)論,并作出新的預(yù)測(cè)。 在第四輪中,專家們是否需要再提出新的論證,將根據(jù)主持者是否認(rèn)為必要而定。,德爾菲法的實(shí)施過程,對(duì)第四輪以后的應(yīng)答結(jié)果進(jìn)行統(tǒng)計(jì)處理,形成較一致預(yù)測(cè)結(jié)果。,德爾菲法的實(shí)施過程,注意事項(xiàng)(一) 上述四輪調(diào)查不是簡(jiǎn)單的重復(fù),而是一種螺旋上升的過程,每循環(huán)和反饋一次,專家都吸收了新的信息,并對(duì)預(yù)測(cè)對(duì)象有了更深刻、更全面地認(rèn)識(shí),預(yù)測(cè)結(jié)果的精確性也逐輪提高。 并不是所有被預(yù)測(cè)的事件都要經(jīng)過四步??赡苡械氖录诘诙骄瓦_(dá)到統(tǒng)一,而不必在第三步中出現(xiàn)。 在第四步結(jié)束后,

12、專家對(duì)各事件的預(yù)測(cè)也不一定都達(dá)到統(tǒng)一。不統(tǒng)一時(shí)也可以用中位數(shù)和上下四分點(diǎn)來作結(jié)論 。,德爾菲法的實(shí)施過程,注意事項(xiàng)(二) 要支付適當(dāng)報(bào)酬:為了調(diào)動(dòng)和鼓勵(lì)專家的積極性在組織德爾菲法預(yù)測(cè)時(shí),應(yīng)給專家支付適當(dāng)報(bào)酬。其報(bào)酬金額視預(yù)測(cè)工作量而定。最后將報(bào)酬標(biāo)準(zhǔn)隨征求專家應(yīng)答一覽表一起發(fā)出。 確定合適的輪間間隔:從經(jīng)驗(yàn)來看,不同的預(yù)測(cè)輪間間隔差別較大。多數(shù)預(yù)測(cè)完成一輪需要46周時(shí)間,然而有的預(yù)測(cè)兩輪一共只需要26天。因此,輪間間隔除了與問題難易有關(guān)外,還與專家對(duì)預(yù)測(cè)問題的興趣有關(guān)。 充分說明德爾菲法的預(yù)測(cè)程序:領(lǐng)導(dǎo)小組(或主持者)不能自認(rèn)為參加應(yīng)答的專家都了解德爾菲法及其預(yù)測(cè)程序。實(shí)際上,有許多專家對(duì)德爾

13、菲法及其程序了解甚微,甚至全然不知。為了使專家全面了解情況,一般問題表都應(yīng)有前言、用以說明預(yù)測(cè)的目的和任務(wù),德爾菲法預(yù)測(cè)的程序,以及應(yīng)注意的有關(guān)問題。,德爾菲法的評(píng)價(jià),德爾菲法的優(yōu)點(diǎn): 各專家能夠在不受干擾的情況下,獨(dú)立、充分地表明自己的意見; 預(yù)測(cè)值是根據(jù)各位專家的意見綜合而成的,能夠發(fā)揮集體的智慧; 應(yīng)用面比較廣,費(fèi)用比較節(jié)省。 德爾菲法的缺點(diǎn): 在綜合預(yù)測(cè)值時(shí),僅僅是根據(jù)各專家的主觀判斷,缺乏客觀標(biāo)準(zhǔn),而且顯得強(qiáng)求一致。 有的專家由于一些主客觀原因,對(duì)表格的填寫未經(jīng)過很深入的調(diào)查和思考,從而影響到評(píng)價(jià)結(jié)果的準(zhǔn)確性。,德爾菲法中常用的統(tǒng)計(jì)方法,德爾菲法中常用的統(tǒng)計(jì)方法:百分?jǐn)?shù)、算術(shù)均數(shù)、幾

14、何均數(shù)、中位數(shù)、四分位數(shù)、滿分頻率、等級(jí)和、變異系數(shù)、各種統(tǒng)計(jì)表、統(tǒng)計(jì)圖等等。,對(duì)專家應(yīng)答結(jié)果進(jìn)行分析和處理是德爾菲法預(yù)測(cè)的最后階段,也是最重要的階段。處理的方法和表達(dá)的方式,取決于預(yù)測(cè)問題的類型和對(duì)預(yù)測(cè)的要求。德爾菲法應(yīng)用最為廣泛的是,要求專家對(duì)某事件發(fā)生的時(shí)間提出評(píng)價(jià)。此外,還要求專家對(duì)策方案在總體中的比重進(jìn)行評(píng)價(jià),及從多方案?jìng)€(gè)擇擾選擇一個(gè)。 近年來隨著科學(xué)技術(shù)的高速發(fā)展,科學(xué)技術(shù)日趨朝著多目標(biāo)和多方案方向發(fā)展。為了用有限的的資金和人力確保重點(diǎn),有必要對(duì)眾多目標(biāo)和方案的相對(duì)重要性進(jìn)行評(píng)價(jià),這是近年來德爾菲法的一項(xiàng)重要發(fā)展。,專家咨詢表的統(tǒng)計(jì)分析方法,一、專家基本情況 對(duì)專家應(yīng)答的結(jié)果進(jìn)行統(tǒng)

15、計(jì)分析,應(yīng)用常規(guī)的統(tǒng)計(jì)分析方法。首先對(duì)專家的性別、年齡、職務(wù)、專業(yè)及從事專業(yè)的年限等個(gè)人特征進(jìn)行描述性的分析,以了解專家的基本情況,便于說明參加該項(xiàng)目評(píng)估、預(yù)測(cè)專家的水平與結(jié)果的可信和可靠程度的聯(lián)系。 例如,邀請(qǐng)參與函詢調(diào)查的15名專家來自浙江省、江蘇省、廣東省、江西省、上海市的相關(guān)護(hù)理管理、護(hù)理質(zhì)量管理、臨床一線等相關(guān)研究領(lǐng)域。第一輪調(diào)查中15名專家均參與。專家的基本情況見表1。,專家咨詢表的統(tǒng)計(jì)分析方法,表1.專家基本情況(n=15),專家咨詢表的統(tǒng)計(jì)分析方法,二、專家的積極系數(shù) 專家的積極系數(shù)用問卷的應(yīng)答率表示,即問卷的回收率、有效率,其大小說明專家對(duì)該項(xiàng)目研究的關(guān)心程度。因此認(rèn)真地分析

16、專家的情況,對(duì)以后評(píng)估結(jié)果或預(yù)測(cè)結(jié)果將有十分重要的作用。例如:表2,表2.專家函詢表回收情況表(n=15),專家咨詢表的統(tǒng)計(jì)分析方法,三、專家意見集中程度 專家意見集中程度用重要性賦值均數(shù)來表示。專家意見集中程度包括均數(shù)(Mj)、滿分頻率(Kj)、等級(jí)總和(Sj)。首先將全部分專家對(duì)所有被評(píng)的項(xiàng)目或指標(biāo)的評(píng)分值Cij列于表中,見表3。第一輪調(diào)查重要性賦值均數(shù)最小值293,最大值5,平均4.5。,表3 某一研究項(xiàng)目專家評(píng)分值表 (一)計(jì)算均數(shù)(Mj),式中:Mj:表示j指標(biāo)評(píng)價(jià)的均數(shù); mj:表示參加j指標(biāo)評(píng)價(jià)的專家數(shù); Cij:表示i專家對(duì)j指標(biāo)的評(píng)分值。 均值取值在09或0100分之間,Mj

17、越大,則對(duì)應(yīng)的j指標(biāo)的重要性越高。,式中:Kj:表示j指標(biāo)的滿分比; Mj:表示給滿分的專家數(shù)。 Kj取值在01之間,Kj可作為Mj的補(bǔ)充指標(biāo),Kj 越大,說明對(duì)該指標(biāo)所給滿分的專家 比例越大,該指標(biāo)也越重要。,(二)計(jì)算滿分比(Kj),專家咨詢表的統(tǒng)計(jì)分析方法,四.專家評(píng)價(jià)結(jié)果一致性檢驗(yàn) (1)肯德爾協(xié)調(diào)系數(shù) W: 肯德爾協(xié)調(diào)系數(shù)(Kendall coefficient of concordance)W的取值在01之間,越接近1,表示所有專家對(duì)全部因子評(píng)分的協(xié)調(diào)程度較好; 根據(jù)國(guó)內(nèi)幾項(xiàng)大型德爾菲法在衛(wèi)生系統(tǒng)的應(yīng)用研究,經(jīng)23輪咨詢協(xié)調(diào)后,誤差控制較好, W一般在0-0.5的范圍波動(dòng)。越接近0

18、,意味著專家意見協(xié)調(diào)程度越低。 協(xié)調(diào)程度的顯著性檢驗(yàn)2檢驗(yàn):假設(shè)專家的意見按正態(tài)分布,根據(jù)自由度d.f和顯著性水平,從2值表中查得2值,如果2值,則可認(rèn)為協(xié)調(diào)系數(shù)經(jīng)檢驗(yàn)后有顯著性。說明專家評(píng)估或預(yù)測(cè)意見協(xié)調(diào)性好,結(jié)果可取。反之, 2 值很小,專家組的意見的非偶然協(xié)調(diào)的概率越大,如果P0.05,則認(rèn)為專家意見在非偶然協(xié)調(diào)方面將是不足置信的協(xié)調(diào),評(píng)估或預(yù)測(cè)結(jié)論的可信度差,評(píng)價(jià)或預(yù)測(cè)結(jié)果不可取。 本研究第一輪調(diào)查后專家的和諧系數(shù)分別為0.258 (X2=104.144;P0.01)。,專家咨詢表的統(tǒng)計(jì)分析方法,四.專家評(píng)價(jià)結(jié)果一致性檢驗(yàn) (2)指標(biāo)的變異系數(shù)(Cv): 變異系數(shù)可反映專家對(duì)某一條目判斷意見的一致性,變異系數(shù)越小說明專家的協(xié)調(diào)程度越高,一般Cv 0.25表明該指標(biāo)的專家協(xié)調(diào)程度不夠。第一輪調(diào)查變異系數(shù)最小值0.00,最大值0.51,平均0.18。,專家咨詢表的統(tǒng)計(jì)分析方法,五. 專家權(quán)威程度 任何一個(gè)專家都不可能對(duì)預(yù)測(cè)中的每一個(gè)問題都是權(quán)威,而權(quán)威程度對(duì)評(píng)價(jià)的可靠性則有相當(dāng)大的影響。因而,對(duì)評(píng)價(jià)結(jié)果進(jìn)行處理時(shí),常常要求考慮專家對(duì)某一問題的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論