(醫(yī)學(xué)課件)循證醫(yī)學(xué)-系統(tǒng)評價_第1頁
(醫(yī)學(xué)課件)循證醫(yī)學(xué)-系統(tǒng)評價_第2頁
(醫(yī)學(xué)課件)循證醫(yī)學(xué)-系統(tǒng)評價_第3頁
(醫(yī)學(xué)課件)循證醫(yī)學(xué)-系統(tǒng)評價_第4頁
(醫(yī)學(xué)課件)循證醫(yī)學(xué)-系統(tǒng)評價_第5頁
已閱讀5頁,還剩131頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、,系統(tǒng)評價概述,病人:醫(yī)生,用哪種方法能夠幫助我成功、安全地戒煙呀? 檢索Medline,發(fā)現(xiàn)有上千篇臨床試驗,戒煙方法多樣,僅研究尼古丁替代品的臨床試驗就有150篇,且結(jié)論不一致。 該選擇哪一種藥物治療?,思考一,例:美國輝瑞公司生產(chǎn)的Champix是一種非尼古丁戒煙處方藥,2006年獲準(zhǔn)在美上市。 近來有報告指出,該藥可能引起抑郁、自殺等副作用。不久前,一份新研究報告則顯示,這種藥物還可能導(dǎo)致心臟疾病、視力受損等其他不良反應(yīng)。為防止服用此藥導(dǎo)致事故,美國聯(lián)邦航空局已下令禁止飛行員和空管人員使用這種戒煙藥。 新華網(wǎng)華盛頓2008年6月1日,早產(chǎn)兒因肺發(fā)育未成熟,死亡率和呼吸窘迫綜合征的發(fā)生率

2、都很高。對可能早產(chǎn)孕婦使用激素后能否減少早產(chǎn)兒的死亡率和呼吸窘迫癥的發(fā)生率? 查找文獻(xiàn)發(fā)現(xiàn)有7個高質(zhì)量的隨機(jī)對照實驗,其中5個實驗結(jié)果為陰性,2個實驗結(jié)果為陽性,你將如何下結(jié)論?,思考二,常見問題,系統(tǒng)評價與單個隨機(jī)對照試驗究竟誰更好? 單個RCT如果樣本量足夠大則不需SR 但可惜現(xiàn)實中大樣本RCT太少,多數(shù)單位無條件做,SR可增大樣本含量,更可行更現(xiàn)實 只要樣本量大,質(zhì)量高,都最可靠,但單個試驗結(jié)論一般沒有多個試驗(SR)全面。,學(xué)習(xí)目標(biāo): 掌握系統(tǒng)評價的定義與作用;系統(tǒng)評價的步驟與方法;納入研究的方法學(xué)質(zhì)量評價方法;偏倚的來源及處理方法; 熟悉系統(tǒng)評價計劃書的撰寫,熟悉cochrance系

3、統(tǒng)評價的撰寫步驟; 了解系統(tǒng)評價與meta分析的區(qū)別和聯(lián)系,一、系統(tǒng)評價概述及相關(guān)概念,系統(tǒng)評價是一種臨床研究方法,臨床研究的精髓: 1、Ask a good question 提出一個重要而恰當(dāng)?shù)膯栴} 2、Answer it reliably 尋找可靠的方法去回答這個問題,Systematic review (SR) “A summary of the medical literature that uses explicit methods to perform a thorough literature search and critical appraisal of individua

4、l studies and that uses appropriate statistical techniques to combine these valid studies.” -David Sackett等 2000,(一)系統(tǒng)評價,系統(tǒng)評價是一全新的文獻(xiàn)綜合方法,指針對某一具體臨床問題,系統(tǒng)、全面地收集全世界所有已發(fā)表或未發(fā)表的臨床研究,采用臨床流行病學(xué)嚴(yán)格評價文獻(xiàn)的原則和方法,篩選出符合質(zhì)量標(biāo)準(zhǔn)的文獻(xiàn),進(jìn)行定性或定量合成,去粗取精,去偽存真,得出綜合可靠的結(jié)論。同時,隨著新的臨床研究結(jié)果的出現(xiàn)進(jìn)行及時的更新。,什么是系統(tǒng)評價? 稱Systematic review (SR) 提出某

5、一具體臨床問題 全面收集全世界所有有關(guān)研究 對所有的研究逐個進(jìn)行嚴(yán)格評價 聯(lián)合所有研究結(jié)果進(jìn)行綜合分析和評價 必要時進(jìn)行 Meta-分析(一種定量合成的統(tǒng)計方法) 得出綜合結(jié)論(有效、無效、應(yīng)進(jìn)一步研究) 提供盡可能減少偏倚的科學(xué)證據(jù),為什么要進(jìn)行系統(tǒng)評價/Meta-分析?,大規(guī)模RCT消耗人力, 財力和時間 多數(shù)單位沒有條件作大規(guī)模RCT 多數(shù)單個RCT樣本量小而不能得出準(zhǔn)確可靠的結(jié)論 系統(tǒng)評價/Meta-分析聯(lián)合單個RCT,增大了樣本含量 高質(zhì)量的系統(tǒng)評價/Meta-分析類似于大規(guī)模多中心RCT(金標(biāo)準(zhǔn)) 系統(tǒng)評價使證據(jù)的使用更加方便,(二)Meta-分析,60年代開始,在醫(yī)學(xué)文獻(xiàn)中,陸續(xù)

6、出現(xiàn)了對多個獨立研究的統(tǒng)計量進(jìn)行合并的報道。 1976年Glass首先將合并統(tǒng)計量對文獻(xiàn)進(jìn)行綜合分析研究的這類方法稱為“Meta-Analysis”。 80年代末該方法傳入我國,中文譯名有薈萃分析、二次分析、匯總分析、集成分析等。但無論何種中文譯名都有不足之處。因此,很多學(xué)者建議仍然使用“Meta分析”這一名稱。,1. 廣義:系統(tǒng)評價的一種類型 “A systematic review that uses quantitative methods to summarize the results” -Evidence-Based Medicine -David Sackett 用定量的方法分析

7、、綜合、概括各研究結(jié)果的一種系統(tǒng)評價。,2. 狹義:一種合成證據(jù)的方法 Meta-Analysis is statistical technique for assembling the results of several studies in a review into a single numerical estimate. The Cochrane Library Meta分析是一種統(tǒng)計分析方法,它將多個獨立的臨床研究結(jié)果合并成一個單獨數(shù)字進(jìn)行定量分析。 Meta分析可以是系統(tǒng)評價也可以不是系統(tǒng)評價,而系統(tǒng)評價可以是Meta-分析也可以不是Meta分析。,目前系統(tǒng)評價與Meta-分析經(jīng)

8、常被混用,但系統(tǒng)評價不一定包括Meta-分析過程,而Meta-分析也不一定嚴(yán)格按照系統(tǒng)評價的方法進(jìn)行。,系統(tǒng)評價,Meta分析,系統(tǒng)評價與Meta分析的區(qū)別,(三)文獻(xiàn)綜述,根據(jù)特定的目的和需要圍繞某一題目收集相關(guān)的醫(yī)學(xué)文獻(xiàn),采用定性分析的方法,對論文的研究目的、方法、結(jié)果、結(jié)論和觀點等進(jìn)行分析和評價,結(jié)合自己的觀點和臨床經(jīng)驗進(jìn)行闡述和評論,總結(jié)成文,以便讀者在較短的時間內(nèi)了解某一專題的研究概況和發(fā)展方向,解決臨床實踐中遇到的問題。,系統(tǒng)評價(SR)與傳統(tǒng)綜述(narrative review;NR) 相同點 共同的目的 為某領(lǐng)域或?qū)I(yè)提供大量、最新知識與信息。 共同的特點 均屬于回顧性、觀察

9、性研究與評價,所以都可能存在系統(tǒng)偏倚與隨機(jī)誤差。 共同的選題要點 常選擇某近年發(fā)展較大、存有較多爭議的專題開展綜述,作者需對收集到的資料進(jìn)行歸納、整理并提出自己的意見。,不同點 NR存在的問題 作者對綜述將闡述的觀點常常有一定的傾向性,所以收集文獻(xiàn)時多選或僅選與自己觀點相同的文獻(xiàn); 缺乏統(tǒng)一的檢索方法,難作到全面、廣泛地收集文獻(xiàn); 篩選、評價文獻(xiàn)時缺乏嚴(yán)格、統(tǒng)一的標(biāo)準(zhǔn); 一般不對文獻(xiàn)的真實性、可靠性等進(jìn)行科學(xué)評價; 綜合資料時,常常不考慮文獻(xiàn)的質(zhì)量好壞、樣本含量大小、設(shè)計是否科學(xué)合理,都一視同仁地陳述其觀點和結(jié)論; 對資料的綜合評價往往是定性的,缺乏科學(xué)的定量指標(biāo); 對所收集文獻(xiàn)中存在的偏倚和

10、錯誤常不進(jìn)行評價與糾正。,SR的特點 評價范圍相對較窄,但針對性很強(qiáng); 需廣泛、全面收集與該問題相關(guān)的所有文獻(xiàn); 用同一嚴(yán)格的科學(xué)標(biāo)準(zhǔn)對收集到的文獻(xiàn)進(jìn)行評估,刪除不合格文獻(xiàn); 可對文獻(xiàn)進(jìn)行定量綜合; 可相對較好地控制偏倚和錯誤; SR一般是以論著的形式發(fā)表。,NR與SR比較,(四)Cochrane系統(tǒng)評價,固定化格式是Cochrane系統(tǒng)評價的一個鮮明的特點。,Cochrane系統(tǒng)評價是Cochrane協(xié)作網(wǎng)協(xié)的評價人員按照Cochrane統(tǒng)一工作手冊,在相應(yīng)Cochrane評價小組的指導(dǎo)和幫助下完成的系統(tǒng)評價,其結(jié)果發(fā)表在Cochrane圖書館(The Cochrane Library 光盤

11、和因特網(wǎng))上。,Cochrane 系統(tǒng)評價數(shù)據(jù)庫被ISI 收錄在包括新英格蘭雜志(NEJM,IF=52.589)在內(nèi)的全科和內(nèi)科領(lǐng)域,位居該領(lǐng)域100 種雜志的第14 名,IF=4.654,2007 年雜志引證報告 (Journal Citation Reports,JCR),Cochrane 系統(tǒng)評價與一般系統(tǒng)評價比較,二、目的,應(yīng)對信息時代挑戰(zhàn) 及時轉(zhuǎn)化和應(yīng)用研究成果 提高統(tǒng)計效率,每年約200萬篇生物醫(yī)學(xué)文獻(xiàn)發(fā)表在2萬多種生物醫(yī)學(xué)雜志上,并按6.7%的年增長率在增長。 一個臨床內(nèi)科醫(yī)生需每天不間斷閱讀19篇本專業(yè)文獻(xiàn),才能基本掌握本學(xué)科新進(jìn)展、新研究結(jié)果。你該怎么辦? 系統(tǒng)評價采用嚴(yán)格的

12、選擇、評價方法,將真實、可靠而有臨床應(yīng)用價值的信息進(jìn)行合成,為各層次的決策者提供科學(xué)依據(jù)。,應(yīng)對信息時代挑戰(zhàn),及時轉(zhuǎn)化和應(yīng)用研究成果,將多個質(zhì)量較高的同質(zhì)臨床試驗結(jié)果應(yīng)用系統(tǒng)評價方法進(jìn)行合成,得出可靠的結(jié)論,將有效措施及時轉(zhuǎn)化和應(yīng)用于臨床實踐和決策。 采用Meta-分析回顧性分析關(guān)于“靜脈鏈激酶治療急性心肌梗塞”療效,1973年,8個RCTs(n=2432)Meta-分析表明,靜脈鏈激酶治療能有效降低急性心肌梗塞的病死率;1978年,25個RCTs (n=34542)結(jié)論相同。直到1987年才在傳統(tǒng)綜述和教材中推薦常規(guī)使用??梢姡摲椒ㄔ谂R床的應(yīng)用被延遲整整14年。,提高統(tǒng)計效能,目前臨床研究

13、數(shù)量多,研究間質(zhì)量差異較大,且多為小樣本研究,但多個試驗的結(jié)果難以提供較為全面、準(zhǔn)確和推廣應(yīng)用價值的研究結(jié)果。 將多個研究結(jié)果用系統(tǒng)評價方法進(jìn)行合并,相當(dāng)于擴(kuò)大了樣本含量,提高了統(tǒng)計效能,得出的結(jié)果更為可靠。,系統(tǒng)評價的作用,對證據(jù)的質(zhì)量進(jìn)行嚴(yán)格評價,提供科學(xué)的證據(jù); 增大樣本含量,提高統(tǒng)計檢驗效能,得出更為可靠的結(jié)論; 評價文獻(xiàn)中各研究結(jié)果的一致性,試圖解決或調(diào)和不同研究間的矛盾結(jié)論; 發(fā)現(xiàn)某些單個研究未闡明的問題; 避免重復(fù)研究; 使證據(jù)的使用更加方便 及時轉(zhuǎn)化和應(yīng)用研究成果,1.對證據(jù)的質(zhì)量進(jìn)行嚴(yán)格評價,提供科學(xué)的證據(jù) 循證醫(yī)學(xué)中的證據(jù),按質(zhì)量和可靠程度可分為五級(可靠性依次降低):一級

14、:所有隨機(jī)對照試驗的系統(tǒng)評價/Meta-分析。二級:單個的樣本量足夠的RCT結(jié)果。三級:設(shè)有對照組但未用隨機(jī)方法分組。四級:無對照的病例觀察。五級:專家意見。 在治療方面,國際公認(rèn)大樣本RCT和RCT的系統(tǒng)評價結(jié)果是證明某種療法的有效性和安全性最可靠的依據(jù)(金標(biāo)準(zhǔn))。目前發(fā)達(dá)國家已將SR和RCT作為制定治療指南的主要依據(jù)。,2. 增大樣本含量,減少各種偏倚和隨機(jī)誤差,提高統(tǒng)計檢驗效能。 大規(guī)模RCT消耗人力, 財力和時間 多數(shù)單位沒有條件作大規(guī)模RCT 多數(shù)單個RCT樣本量小而不能得出準(zhǔn)確可靠的結(jié)論 系統(tǒng)評價/Meta-分析聯(lián)合單個RCT,增大了樣本含量 高質(zhì)量的Meta分析與高質(zhì)量的大樣本多

15、中心臨床實驗一樣被認(rèn)為質(zhì)量最高的證據(jù)級別。,3. 評價文獻(xiàn)中各研究結(jié)果的一致性,試圖解決或調(diào)和不同研究間的矛盾結(jié)論。 4. 發(fā)現(xiàn)某些單個研究未闡明的問題。 5. 避免重復(fù)研究 對以往的研究進(jìn)行系統(tǒng)評價/meta-分析,可以發(fā)現(xiàn)某些問題已有結(jié)論,不必進(jìn)行重復(fù)研究。,6.使證據(jù)的使用更加方便信息爆炸時代:每年有200多萬篇有關(guān)生物醫(yī)學(xué)的文獻(xiàn)發(fā)表在2萬多種雜志上。臨床醫(yī)生需要系統(tǒng)評價/meta-分析有效地整合已有的信息,從而為合理的決策提供依據(jù)。,7.及時轉(zhuǎn)化和應(yīng)用研究成果 將多個質(zhì)量較高的同質(zhì)臨床試驗結(jié)果應(yīng)用系統(tǒng)評價方法進(jìn)行合成,得出可靠的結(jié)論,將有效措施及時轉(zhuǎn)化和應(yīng)用于臨床實踐和決策。,三、系統(tǒng)

16、評價的步驟與方法,SR(基于RCTs)作為最高級別的證據(jù),其方法本身必須正確,否則必然影響真實性和可靠性。因此,必須遵循規(guī)范、正確的方法進(jìn)行研究。,1. 選題,選題和立題的基本原則 必要性:具有研究價值 實用性:解決臨床問題 科學(xué)性:符合客觀規(guī)律 可行性:具備相關(guān)條件 創(chuàng)新性:不要重復(fù)他人的工作,Key points about identifying and commissioning reviews, To avoid unnecessary duplication of effort, new systematic reviews should not be commissioned w

17、ithout a thorough search for published or ongoing systematic reviews. The search for completed or ongoing reviews should cover key databases as well as contacting experts in the subject area. This exercise ideally should be carried out with input from information specialists.,Appraising available re

18、views What is the reviews objective? What sources were searched to identify primary studies? What were the inclusion criteria and how were they applied? What criteria were used to assess the quality of primary studies and how were they applied? How were the data extracted from the primary studies? H

19、ow were the data synthesised?,If an identified review contains all the evidence that is needed to guide decision-making, no further review may be required. Occasionally it may be possible to update or expand an existing good quality review. If no suitable reviews are identified, a new review may be

20、commissioned.,五要素原則: 研究的受試對象(Patient, P) 主要的干預(yù)措施(Intervention, I; Compare, C) 研究的重要結(jié)果(Outcome, O) 研究的設(shè)計方案(Study, S),提出問題-選題,兩種格式: 限定對照: 干預(yù)措施A與干預(yù)措施B相比治療某疾病 不限定對照: 某干預(yù)措施治療某疾病,例1:靜脈硫酸鎂(干預(yù)措施A)與不注射硫酸鎂相比(干預(yù)措施B)相比是否能降低急性心肌梗死患者(研究對象)的短期死亡率(研究結(jié)果)?- 隨機(jī)對照試驗(設(shè)計方案)的系統(tǒng)評價,例1:靜脈硫酸鎂與不注射硫酸鎂相比是否能降低急性心肌梗死患者的短期死亡率- 隨機(jī)對照

21、試驗的系統(tǒng)評價,提出問題-選題,例2、急性缺血性腦卒中用溶栓療法是否能降低病死率和殘廢率隨機(jī)對照試驗的系統(tǒng)評價,提出問題-選題,問題的范圍可寬可窄,范圍較寬:包括鏈激酶、尿激酶和tPA等所有溶栓制劑 范圍較窄:只包括尿激酶,范圍的確定取決于多種因素: 臨床意義和價值 基礎(chǔ)理論是否支持 流行病學(xué)資料 推廣價值 有無完成系統(tǒng)評價的可行性等。,注意:,避免研究問題太窄:文獻(xiàn)納入量較少,推廣性較差 避免研究問題太廣:浪費(fèi)資源、影響結(jié)果的真實性 避免重復(fù) 避免在進(jìn)行系統(tǒng)評價的過程中對研究問題作大的改動 研究問題改動后,應(yīng)對文獻(xiàn)檢索、選擇、評價作相應(yīng)的調(diào)整,提出問題-選題,2.注 冊,選擇題目,將題目和背

22、景情況告之評價小組協(xié)調(diào)員,確定該題目是否已被注冊 等待專家評審,確定是否有必要進(jìn)行該題目的系統(tǒng)評價 如果該題目無人注冊且有研究的價值,評價小組將通知你填寫有關(guān)表格,確定你的注冊資格,3.撰寫系統(tǒng)評價計劃書,根據(jù)Cochrane系統(tǒng)評價者手冊,撰寫系統(tǒng)評價計劃書(protocol),為什么要撰寫系統(tǒng)評價計劃書?,系統(tǒng)評價多為回顧性,涉及主觀判斷 - 明確系統(tǒng)評價的方法 研究問題的定義 研究的選擇、質(zhì)量評價標(biāo)準(zhǔn) 結(jié)果的分析和報告方法 - 減少偏倚和機(jī)遇的影響,系統(tǒng)評價計劃書的組成,背景:選題、立題的依據(jù) 系統(tǒng)評價的目的 納入與排除原始研究的標(biāo)準(zhǔn) 檢索策略 系統(tǒng)評價的方法:選擇、評價、提取數(shù)據(jù)、分析

23、數(shù)據(jù) 其它:封面、致謝、利益沖突、參考文獻(xiàn) 時間安排、人員、經(jīng)費(fèi)、結(jié)果傳播等,背景:選題、立題的依據(jù),包括4個部分 疾病概述:如疾病的定義、病因及疾病負(fù)擔(dān)等; 治療現(xiàn)狀概述; 被評價干預(yù)措施概述,包括藥理學(xué)、用法、當(dāng)前臨床研究及其療效等; 本系統(tǒng)評價的必要性簡述。,李靜,張慶,Egger Mathias,靜脈硫酸鎂治療急性心肌梗死的療效和安全性評價的研究方案,中國循證醫(yī)學(xué)雜志,2002,2(3):167,急性心肌梗死的死亡率和并發(fā)癥發(fā)生率較高,有研究顯示Mg具有舒血管作用,并可增加心肌細(xì)胞去極化的閾值,減少因心律不齊而導(dǎo)致象缺血、梗塞等損傷性事件的發(fā)生。在心肌梗死后早期靜脈使用硫酸鎂是一種有希

24、望限制梗死面積,預(yù)防嚴(yán)重心律失常、降低死亡率的治療措施。但是針對急性心梗的病人使用Mg治療尚存在一定的爭議,多個早期的臨床試驗和Meta-分析顯示Mg治療可降低死亡率,但后來有一大型的臨床試驗卻證明其無效。,背景:選題、立題的依據(jù),系統(tǒng)評價的目的,通常用一句話描述,包括干預(yù)措施、疾病或(和)對象、研究目的等。,目的 根據(jù)起病時間(6小時,6+小時)、是否使用溶栓劑、鎂的用量(75mmol,75+mmol),分層評價靜脈硫酸鎂對急性心肌梗死患者死亡率和并發(fā)癥發(fā)生率的影響。,李靜,張慶,Egger Mathias,靜脈硫酸鎂治療急性心肌梗死的療效和安全性評價的研究方案,中國循證醫(yī)學(xué)雜志,2002,

25、2(3):167,制定納入與排除原始研究的標(biāo)準(zhǔn),研究類型:確定納入研究的設(shè)計方案,有無語種限制 通常納入隨機(jī)對照試驗或半隨機(jī)對照試驗,但在特殊情況下也可納入非隨機(jī)對照試驗。 研究對象:患有某種疾病的特定人群 包括確定疾病種類或亞型;研究對象特征(年齡、性別、種族、教育程度、疾病類型、疾病的某些特征)及其場所(社區(qū)、醫(yī)院、療養(yǎng)院);有無研究亞組等,納入標(biāo)準(zhǔn):確定納入的研究的標(biāo)準(zhǔn),例: 初次發(fā)生AMI或高度懷疑AMI的患者,病程24小時內(nèi) 根據(jù)臨床癥狀、酶學(xué)和ECG 不考慮年齡、性別、梗塞部位和面積 亞組人群: - AMI發(fā)病6h, 6+h - 硫酸鎂劑量:75mmol/L,75+mmol/L,李

26、靜,張慶,Egger Mathias,靜脈硫酸鎂治療急性心肌梗死的療效和安全性評價的研究方案,中國循證醫(yī)學(xué)雜志,2002,2(3):167,納入標(biāo)準(zhǔn),確定研究的干預(yù)措施 確定要比較的措施 確定對照組的措施 例: - 干預(yù)措施:靜脈硫酸鎂+常規(guī)治療 - 對照組措施:常規(guī)治療,干預(yù)措施:,李靜,張慶,Egger Mathias,靜脈硫酸鎂治療急性心肌梗死的療效和安全性評價的研究方案,中國循證醫(yī)學(xué)雜志,2002,2(3):167,主要指標(biāo):特異性指標(biāo)及終點指標(biāo)(如發(fā)病率、死亡率、復(fù)發(fā)率、病人的生活能力、生存質(zhì)量和工作能力等) 次要指標(biāo):中間指標(biāo)(如降低血壓、改善實驗室指標(biāo)等) 例: 主要指標(biāo):5周內(nèi)

27、的總死亡率 次要指標(biāo):并發(fā)癥: 心室纖顫;房室傳導(dǎo)阻滯;心動過緩;心力衰竭;心源性休克;嚴(yán)重低血壓;面部潮紅,納入標(biāo)準(zhǔn),結(jié)果測量指標(biāo):,用排除標(biāo)準(zhǔn)來排除具有影響結(jié)果的因素的文獻(xiàn)。 如相同或相似或內(nèi)容重復(fù)報道文獻(xiàn)、對一個臨床試驗分期(初期、中期、終期)報告的文獻(xiàn)、無必需的基本數(shù)據(jù)或不能從原文中推導(dǎo)出基本數(shù)據(jù)的文獻(xiàn)。,排除標(biāo)準(zhǔn),從納入文獻(xiàn)中排除,例:本科醫(yī)學(xué)教育PBL 教學(xué)模式效果的系統(tǒng)評價 : 納入標(biāo)準(zhǔn):研究類型為隨機(jī)對照實驗;研究對象為醫(yī)學(xué)院校本科學(xué)生;分別采用 PBL 教學(xué)法和 LBL 教學(xué)法對試驗組和對照組進(jìn)行教學(xué);測定指標(biāo)為學(xué)生理論考試成績和滿意度調(diào)查問卷。 排出標(biāo)準(zhǔn):臨床實習(xí)階段的本科

28、學(xué)生;未進(jìn)行對比研究,如只做了 PBL 教學(xué);無計數(shù)或計量資料或研究效應(yīng)指標(biāo)不具有特異性及統(tǒng)計學(xué)意義。,檢索策略(文獻(xiàn)檢索計劃),電子檢索 根據(jù)研究問題確定檢索詞、檢索數(shù)據(jù)庫、語種 通常有三套檢索式: 1)用于檢索疾病相關(guān)情況的檢索式; 2)用于檢索想要評價的干預(yù)措施; 3)用于檢索準(zhǔn)備納入試驗的設(shè)計類型(如RCT)。,手工檢索,3)專業(yè)數(shù)據(jù)庫、會議論文集、畢業(yè)論文、專著、 科研資助機(jī)構(gòu)、政府工作報告、醫(yī)藥公司等,2)英文數(shù)據(jù)庫:Medline、Embase、Cochrane、SCI等,確定數(shù)據(jù)庫,1)中文數(shù)據(jù)庫:CBM、VIP、CNKI等,檢索策略(文獻(xiàn)檢索計劃),1)電子數(shù)據(jù)庫沒有收錄所有

29、的試驗報告(未發(fā)表文獻(xiàn)) 2)即使存在電子數(shù)據(jù)庫中,也可能因沒被標(biāo)注索引而不易檢出,人工的將整本雜志一頁一頁地進(jìn)行檢查,包括論文、摘要、消息欄、社論、信件和其他內(nèi)容,尋找合格的試驗報告。,將完成的計劃書送交評價小組協(xié)調(diào)員和專家評審,對研究目的、方法提出修改意見和建議 評價者根據(jù)評審結(jié)果進(jìn)行修改,再送評價小組評審,直到符合要求為止 合格的系統(tǒng)評價計劃書將發(fā)表在Cochrane圖書館上,進(jìn)一步征求意見以完善系統(tǒng)評價的方法,4. 提交系統(tǒng)評價計劃書,5. 完成系統(tǒng)評價,Cochrane系統(tǒng)評價制作步驟 全面收集全世界相關(guān)的研究文獻(xiàn) 根據(jù)制定的納入和排除標(biāo)準(zhǔn)選擇研究文獻(xiàn) 提取每個研究的資料:基線、方法

30、學(xué)質(zhì)量及結(jié)果 評價每一研究的質(zhì)量 數(shù)據(jù)處理(統(tǒng)計學(xué)處理) 得出結(jié)果 結(jié)果解釋(討論):證據(jù)的可靠性、臨床意義、研究意義 結(jié)論,根據(jù)事先擬定的納入和排除標(biāo)準(zhǔn),從收集的所有文獻(xiàn)中選出能回答研究問題的文獻(xiàn)資料。 包括需說明選擇文獻(xiàn)的方法及避免偏倚的方法。,選擇納入研究的方法,1. 文獻(xiàn)選擇的方法 (1)初篩 根據(jù)檢索出的引文信息,篩除明顯不合格的文獻(xiàn),但對介于肯定與不肯定間的文獻(xiàn)則應(yīng)查出全文,再進(jìn)行篩選。 (2)閱讀全文 進(jìn)行進(jìn)一步閱讀分析,確定所選出的文獻(xiàn)是否合格。 (3)與文獻(xiàn)作者聯(lián)系 SR過程中一旦排除的文獻(xiàn)將不再錄用。因此當(dāng)某文獻(xiàn)中提供的信息不全面,無法進(jìn)行確定;或有疑問、有分歧的的文獻(xiàn)應(yīng)先

31、納入,再通過與作者聯(lián)系獲得有關(guān)的詳細(xì)、準(zhǔn)確信息后再決定取舍。,收集的文獻(xiàn),閱讀題目、摘要,不合格,排除,不合格,排除,不合格,排除,可能合格的文獻(xiàn),合格,納入,合格,納入,與作者聯(lián)系,不肯定,選擇文獻(xiàn)基本步驟,閱讀全文,避免偏倚的方法 多少人選擇,是否采用盲法 是否包括專業(yè)和非專業(yè)人員 如何解決意見分歧 如:兩個評價員依照既定的納入標(biāo)準(zhǔn),盲法獨立地進(jìn)行臨床試驗的鑒定和選擇,任何分歧將通過討論或第三者仲裁來解決。,資料的提取方法 包括資料提取方式、提取資料的內(nèi)容以及收集的方法(多少人收集等)。,需要收集的數(shù)據(jù)應(yīng)該包括以下內(nèi)容: (1)一般資料 文獻(xiàn)題目、評價者姓名、原始文獻(xiàn)的出處和編號、評價的日

32、期等。 (2)研究特征 研究的合格性、研究對象特征、研究地點、設(shè)計方案、干預(yù)措施(研究因素)、實施方法、偏倚防止措施 、結(jié)局測量方法等。 (3)研究結(jié)果 隨訪時間、失訪和退出人數(shù)及以下結(jié)果: 分類變量 要收集每組的總?cè)藬?shù)、結(jié)局事件發(fā)生率。 連續(xù)變量 要收集每組的總?cè)藬?shù)、均數(shù)、標(biāo)準(zhǔn)差或標(biāo)準(zhǔn)誤。,資料提取,一般資料,研究特征,結(jié)局測量,資料提取,文獻(xiàn)題目 作者姓名 文獻(xiàn)來源,設(shè)計方案、質(zhì)量 研究對象基線資料 干預(yù)措施實施情況,文獻(xiàn)報告的所有結(jié)果 及結(jié)局測量的方法,由兩名作者獨立完成對檢索后得到文獻(xiàn)地納入/排除以及數(shù)據(jù)提取并交叉核對,遇到不同意見討論或咨詢第三位評價者,直至意見一致。,評價文獻(xiàn)質(zhì)量,

33、評價單個研究在設(shè)計、實施和分析過程中可能存在的誤差及其程度。,國際上隨機(jī)對照試驗的一些趨勢 重視大樣本 重視隨機(jī)方法是否可靠 重視采用與病人關(guān)系大的長期預(yù)后指標(biāo)作為判效指標(biāo) 重視采用意向治療分析(intention-to-treat analysis ITT)法 重視結(jié)果的推廣價值 對亞組分析的結(jié)果持謹(jǐn)慎態(tài)度,不輕易下結(jié)論 統(tǒng)計方法:RR、OR、CI,1.質(zhì)量評價的目的 (1)確定納入原始文獻(xiàn)的質(zhì)量閾值,將低于某一質(zhì)量標(biāo)準(zhǔn)的試驗排除,同時可顯示所納入的文獻(xiàn)質(zhì)量平分的最高值與最低值。 (2)解釋不同文獻(xiàn)結(jié)果差異的原因。 (3)作為敏感性分析和定量分析時賦予權(quán)重的依據(jù)。,2.質(zhì)量評價的內(nèi)容和方法

34、(1)內(nèi)在真實性的評價 內(nèi)在真實性(internal validity)指單個研究的結(jié)果與真實值相符合的程度,即研究受各種偏倚影響的情況。,誤差與偏倚的關(guān)系? 臨床研究中誤差的來源可以分為兩類:一類是隨機(jī)誤差(random error);一類是系統(tǒng)誤差(systematic error)。,隨機(jī)誤差:是由于抽樣誤差所引起的,其大小可以用統(tǒng)計學(xué)方法進(jìn)行估計,但沒有方向性,也就是說,這種誤差的存在使研究結(jié)果隨機(jī)的高于或小于真值。 系統(tǒng)誤差即偏倚(bias):是指研究結(jié)果系統(tǒng)地偏離了真實情況。與隨機(jī)誤差不同,偏倚的存在總是造成研究結(jié)果或高于真值或低于真值,因而具有方向性。,偏倚產(chǎn)生的原因:測量儀器的

35、不準(zhǔn),樣本過小,試驗設(shè)計不合理,分配或分組不均衡,抽樣未隨機(jī),測量者有主觀傾向等。,在RCT中,偏倚主要來自四個方面: 選擇偏倚 如研究對象的來源有偏或分組時沒有作到真正的隨機(jī),造成組間基線不可比,從而夸大或縮小了干預(yù)措施的效應(yīng)。 實施偏倚 如沒有真正作到盲法或安慰劑失密等造成的結(jié)果偏倚。 隨訪偏倚 試驗隨訪的過程中,因試驗組或?qū)φ战M退出、失訪、違背治療方案的人數(shù)或情況不一樣所造成的系統(tǒng)偏倚。 測量偏倚 測量試驗組與對照組的方法不一致所造成的偏倚。,選擇性偏倚產(chǎn)生的環(huán)節(jié): 受試對象分組不當(dāng) 隨機(jī)化 分配方案未隱藏 分配隱藏,隱蔽分組或分配隱藏(allocation concealment)最早

36、稱為盲法分組(blinded allocation),指分組人員不知道受試對象的任何情況,避免因各種人為因素影響隨機(jī)分組造成選擇性偏倚的措施。 為了避免與實施過程中的盲法混淆,遂將blinded allocation(盲法分組)改稱allocation concealment或concealed allocationt”。 國內(nèi)對這個術(shù)語的翻譯不統(tǒng)一,以分配隱藏、方案隱藏和隨機(jī)化隱藏多見,我們認(rèn)為這個詞譯為隱蔽分組更加接近其本來的意思,更有助于對正確實施allocation concealment的理解。,之所以必須實施隱蔽分組是基于這樣一種可能:如果實施分組的人員又同時負(fù)責(zé)納入受試對象,即使

37、隨機(jī)序列的產(chǎn)生做得很好,在納入受試對象時很可能自覺或不自覺地將治療組的危重患者或剔除或帶傾向性地分到對照組或治療組,使隨機(jī)分配形同虛設(shè),導(dǎo)致治療結(jié)果被夸大,調(diào)查顯示,不實施或不充分實施隱蔽分組會夸大結(jié)果達(dá)42以上 。,迄今國際國內(nèi)的大多數(shù)隨機(jī)對照試驗報告對隱蔽分組要么不做描述,要么描述錯誤的方法,最常見的錯誤是將隱蔽分組與實施過程中的盲法混淆起來。這反映出目前絕大多數(shù)臨床隨機(jī)對照試驗論文的作者并不清楚隱蔽分組的準(zhǔn)確定義和實施方法。,實施偏倚的幾種情況 沾染: 對照組的患者接受了試驗組的防治措施,使試驗組和對照組間的療效差異減小。 干擾: 試驗組或?qū)φ战M接收了類似試驗措施的其他處理,人為擴(kuò)大或減

38、小組間療效的真實差異。,盲法(blinding)指受試對象、試驗實施者和結(jié)果測量者不知道受試對象分在何組,是一種避免實施偏倚和測量偏倚的措施。,盲法有單盲、雙盲和三盲。對受試對象、試驗實施者和結(jié)果測量者三者之一實施盲法,稱為單盲;對其中兩者實施盲法,稱為雙盲;對3個環(huán)節(jié)均實施盲法即為三盲。 通常采用雙盲,如果為主觀性指標(biāo),則最重要的環(huán)節(jié)是對結(jié)果測量者和受試對象實施盲法,對于外科性和針灸類試驗,因施術(shù)者無法盲,對受試者和測量者施盲就尤為重要。,除上述三盲之外,還可對統(tǒng)計分析人員施盲,即數(shù)據(jù)揭盲后,只告訴統(tǒng)計分析人員何組數(shù)據(jù)為A組,何組為B組,而不知道何組為治療組,何組為對照組,甚至不知道該試驗的

39、設(shè)計是非劣效檢驗,或等效檢驗,還是優(yōu)效檢驗,避免數(shù)據(jù)分析過程出現(xiàn)人為因素而影響結(jié)果,此為四盲。,正確描述隨機(jī)方法、隱蔽分組和盲法 臨床試驗論文撰寫的原則是讓讀者清楚了解整個試驗過程;關(guān)于隨機(jī)方法、隱蔽分組和盲法的敘述應(yīng)包括誰用什么方法產(chǎn)生的隨機(jī)序列,誰根據(jù)什么原則確定組別,分配序列表由誰保管,采用什么措施保密,誰被施盲,如何保證盲法的有效性等。,失訪偏倚 在隊列研究和隨機(jī)對照試驗中,失訪是難以避免的。失訪往往導(dǎo)致研究結(jié)果的失真,因為失訪者的特征或療效與留在研究中的人群有差異。 在隨機(jī)對照試驗中,失訪的原因往往是并發(fā)癥、副反應(yīng)、療效差等,導(dǎo)致研究結(jié)果不能代表真實。 一般來說,如果失訪率小于5%,

40、對結(jié)果幾乎沒有什么影響;如果失訪率達(dá)到30%或以上,研究結(jié)果將極不可靠。,數(shù)據(jù)處理經(jīng)常選用的方法 pp分析:符合方案集分析,處理數(shù)據(jù)時將符合試驗方案規(guī)定、依從性好、完成了所規(guī)定的全部試驗措施的病例資料進(jìn)行統(tǒng)計分析。,在進(jìn)行SR時,針對不同研究對退出者的處理方法不同的情況,常采用以下的方法進(jìn)行處理:,1.意向分析法(intention to treat analysis) 又稱為意愿治療分析法,其基本思想是:分組后,無論該病例是否按時、足量、全程完成治療,都將結(jié)果歸到隨機(jī)分配所在組進(jìn)行結(jié)果分析。,3.最差結(jié)果演示法(worst-case scenario) 其基本思想是:當(dāng)不能獲得失訪或退出病例

41、的結(jié)局時,將這些病例的結(jié)果統(tǒng)統(tǒng)歸為無效結(jié)局進(jìn)行分析。,2.最佳結(jié)果演示法(best-case scenario) 其基本思想是:當(dāng)不能獲得失訪或退出病例的結(jié)局時,將這些病例的結(jié)果統(tǒng)統(tǒng)歸為有效結(jié)局進(jìn)行分析。,pp分析,例:某研究觀察某藥治療胃癌的遠(yuǎn)期療效,將100例患者分為治療組50例,對照組50例。1年后,治療組有效30例,失訪4例;對照組有效20例,失訪3例。計算RR,ITT分析,最差結(jié)果演示,最佳結(jié)果演示,(2)外在真實性的評價 外在真實性(external validity )是指研究結(jié)果應(yīng)用于研究對象以外時,外推性的好壞。它主要受以下三方面的影響: 研究對象特征; 干預(yù)措施的實施方法,

42、包括藥物的劑型、劑量、給藥時間、給藥途徑、療程及依從性等; 所評價的結(jié)局及其判定標(biāo)準(zhǔn)。,評價真實性的方法: 第一類 清單或一覽表評價(checklist) 一般會給出許多項目,逐條評價,不予評分,以定性為主。 第二類 量表評分(scale) 也有許多項目,常被設(shè)計成固定格式的表格,并要求對每一條目給予評分,達(dá)到定量的目的。在Meta-分析中,對每一研究賦予權(quán)重時可以此為參考。,迄今,已有9種清單,60余種量表用于隨機(jī)對照試驗質(zhì)量評價,分別有357個條目,需要花1045分鐘完成。通過每個項目的評分相加得出每個研究的總分,然后對研究的質(zhì)量進(jìn)行分級。 雖然應(yīng)用評估量表是可行的,但是此評分的方法花費(fèi)時

43、間太多,而且沒有證據(jù)證明分?jǐn)?shù)與真實性有關(guān)系,與報告質(zhì)量相混淆的危險 。,Jadad scale的質(zhì)量標(biāo)準(zhǔn)(部分) 1.隨機(jī)分組序列的產(chǎn)生方法 2分 通過計算機(jī)或隨機(jī)數(shù)字表產(chǎn)生的序列; 1分 試驗報告提到隨機(jī)分配,但未交代產(chǎn)生隨機(jī)序列的方法; 0分 半隨機(jī)或準(zhǔn)隨機(jī)試驗。 2.雙盲法的實施 2分 描述了實施雙盲的具體方法并且方法恰當(dāng); 1分 試驗僅提及采用雙盲法; 0分 試驗提及采用雙盲法,但方法不恰當(dāng)。 3.退出和失訪 1分 對退出和失訪的病例數(shù)和理由進(jìn)行了詳細(xì)的描述; 0分 沒有提到可能存在的退出和失訪。,納入研究的方法學(xué)質(zhì)量評價方法,Cochrane5.0版本中的“ 偏倚風(fēng)險評估” 工具:

44、隨機(jī)分配方法; 分配方案隱藏; 對研究對象、治療方案實施者、研究結(jié)果測量者采用盲法; 結(jié)果數(shù)據(jù)的完整性; 選擇性報告研究結(jié)果; 其它偏倚來源。 針對每一項研究結(jié)果,對上述6 條作出“是”(低度偏倚)、“否”(高度偏倚)和“不清楚”(缺乏相關(guān)信息或偏倚情況不確定)的判斷。,系統(tǒng)評價的方法,3.質(zhì)量評價中應(yīng)注意的問題 (1)進(jìn)行試驗質(zhì)量評價通常至少由2名評價人員獨立進(jìn)行; (2)常常先選3-6篇研究文章進(jìn)行初評,檢驗制定的質(zhì)量標(biāo)準(zhǔn)是否恰當(dāng),評價結(jié)果是否一致; (3)評價者應(yīng)熟練臨床流行病學(xué)方法學(xué)及相關(guān)領(lǐng)域知識; (4)是否需要采用盲法評價還存有爭議。,4.質(zhì)量評價的有限性 一方面:由于試驗報告的不

45、規(guī)范,當(dāng)發(fā)現(xiàn)問題時,難以區(qū)別是設(shè)計的錯誤還是報告的缺陷。解決的方法(1)向研究者了解更多的信息;(2)運(yùn)用發(fā)表文章的“臨床試驗標(biāo)準(zhǔn)”進(jìn)行限制。 另一方面:現(xiàn)有的證據(jù)尚不能充分證明真實性測量標(biāo)準(zhǔn)與實際的研究結(jié)局間的絕對聯(lián)系。,Cochrane協(xié)作網(wǎng)不推薦任何一種方法,而是由評價者或評價小組自行選擇。但要求在評價中至少應(yīng)該包括以下方面: 是否采用真正的隨機(jī)化方法? 隨機(jī)分配方案是否完善隱藏? 組間影響研究結(jié)果的重要因素的基線情況是否均衡可比? 是否對研究對象、治療方案實施者、研究結(jié)果測量者采用盲法? 是否有研究對象失訪、退出、違背治療方案并在分析時作恰當(dāng)處理(意向分析法)?,發(fā)表偏倚的可能原因 雜

46、志不愿發(fā)表陰性結(jié)果 作者不愿發(fā)表陰性結(jié)果 藥廠不愿發(fā)表陰性結(jié)果 療效判斷指標(biāo)的某些選擇易于出現(xiàn)陽性結(jié)果,發(fā)表機(jī)會增多,Cochrane 系統(tǒng)評價對發(fā)表偏倚的措施 全面收集發(fā)表與未發(fā)表的研究報告 全面登記即將進(jìn)行的臨床試驗并跟蹤 得出陽性結(jié)果時: 檢驗是否存在發(fā)表偏倚的可能,如漏斗圖式,失安全數(shù)。 在文章中分析說明發(fā)表偏倚的可能性和影響,資料的分析(數(shù)據(jù)的處理)方法 不同類型資料(如計量或計數(shù)資料)擬采用的統(tǒng)計學(xué)方法、資料不完整或缺失的處理方法、數(shù)據(jù)合并的方法及發(fā)表偏倚等。 定性分析 對納入研究的特征列出表格進(jìn)行描述。 定量分析 采用 Cochrane 協(xié)作網(wǎng) RevMan 軟件進(jìn)行數(shù)據(jù)的合成和

47、分析; 異質(zhì)性性檢驗:檢驗和I值; 結(jié)果合成:二分類變量采用相對危險度(RR) ,數(shù)值變量采用加權(quán)均數(shù)差(WMD) 為效應(yīng)量進(jìn)行分析,并計算95% CI。,資料分析,圖示結(jié)果:常用森林圖,一條短線代表一個研究的95可信區(qū)間(CI),其線條長短直觀地表示了可信區(qū)間范圍的大小,線條中央的小方塊為OR/OR值的位置,其方塊大小為該研究權(quán)重大小 中線代表等效線 最下方的菱形符號代表所納入試驗的綜合效應(yīng)量。 若某個研究的95可信區(qū)間的線條橫跨等效豎線,即該研究無統(tǒng)計學(xué)意義,反之,若該橫線落在無效線的左側(cè)或右側(cè),該研究有統(tǒng)計學(xué)意義。默認(rèn)不良事件左:有利于實驗組:右:有利于對照。,主要包括以下內(nèi)容: (1)

48、該SR的論證強(qiáng)度 (2)研究結(jié)果的推廣應(yīng)用性 (3)對干預(yù)措施的利弊和效益等進(jìn)行衛(wèi)生經(jīng)濟(jì)學(xué)分析 (4)對于臨床醫(yī)療和臨床研究的意義 Cochrane的SR每隔2-3年做一次更新,更新后的SR被當(dāng)作一篇新論著發(fā)表。,系統(tǒng)評價結(jié)果解釋,更新系統(tǒng)評價,注冊和進(jìn)行Cochrane系統(tǒng)評價的基本步驟,確定題目和注冊 與相關(guān)評價小組聯(lián)系 計劃書 評審,合格后發(fā)表在CL 系統(tǒng)評價 評審,合格后發(fā)表在CL 定期更新,確定題目和注冊,選擇題目,將題目和背景情況告之評價小組協(xié)調(diào)員,確定該題目是否已被注冊 等待專家評審,確定是否有必要進(jìn)行該題目的系統(tǒng)評價 如果該題目無人注冊且有研究的價值,評價小組將通知你填寫有關(guān)表

49、格,確定你的注冊資格,撰寫系統(tǒng)評價計劃書,根據(jù)Cochrane系統(tǒng)評價者手冊,撰寫系統(tǒng)評價計劃書 將完成的計劃書送交評價小組協(xié)調(diào)員和專家評審,對研究目的、方法提出修改意見和建議 評價者根據(jù)評審結(jié)果進(jìn)行修改,再送評價小組評審,直到符合要求為止 合格的系統(tǒng)評價計劃書將發(fā)表在Cochrane圖書館上,進(jìn)一步征求意見以完善系統(tǒng)評價的方法,完成系統(tǒng)評價,資料的查尋、收集、選擇、質(zhì)量評價、數(shù)據(jù)收集、資料分析 與評價小組協(xié)調(diào)員密切聯(lián)系,獲得技術(shù)支持 ,如:制訂檢索策略、查尋原始資料、翻譯其它語種的文獻(xiàn)、進(jìn)行資料分析 完成后,送交專家評審 評價者根據(jù)反饋意見進(jìn)行修改,再送交評價小組評審,直到符合要求 合格的系

50、統(tǒng)評價將發(fā)表在Cochrane圖書館,同時也可發(fā)表在愿意接受系統(tǒng)評價的雜志上,更新系統(tǒng)評價,發(fā)表后的系統(tǒng)評價要隨時接受反饋意見和信息,并作相應(yīng)修改和完善 每年均應(yīng)查尋是否有新的臨床試驗,如果有,應(yīng)根據(jù)系統(tǒng)評價的全過程重新進(jìn)行評價,報告新的結(jié)果 定期更新系統(tǒng)評價是Cochrane系統(tǒng)評價與其它系統(tǒng)評價和meta-分析的主要區(qū)別之一,系統(tǒng)評價的寫作要點,方法學(xué)部分的寫作要點,如果做了META-分析-定量分析(quantitative data synthesis),則: 異質(zhì)性檢驗-亞組分析 敏感分析 發(fā)表偏倚-漏斗圖,如果納入了符合標(biāo)準(zhǔn)的研究而未做Meta-分析,則: 說明不做Meta-分析的原因; 采用描述性方式進(jìn)行總結(jié)(Non

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論