大數(shù)據(jù)文本標(biāo)注質(zhì)控技師（中級(jí)）考試試卷及答案一、填空題（每題1分，共10分）1.文本標(biāo)注質(zhì)控中，______是指標(biāo)注結(jié)果與真實(shí)標(biāo)簽的一致性程度。2.標(biāo)注數(shù)據(jù)的______指有效標(biāo)注樣本占總樣本的比例，排除無(wú)效/重復(fù)樣本。3.常見(jiàn)文本標(biāo)注類型包括命名實(shí)體識(shí)別（NER）、______和情感分析等。4.質(zhì)控抽檢中，______抽樣可避免主觀偏差，隨機(jī)選取樣本檢查。5.開(kāi)源標(biāo)注工具中，______支持多人協(xié)作，常用于實(shí)體/關(guān)系標(biāo)注。6.標(biāo)注誤差類型包括標(biāo)注者誤差、______和規(guī)則理解誤差。7.文本標(biāo)注質(zhì)控核心目標(biāo)是保證標(biāo)注的準(zhǔn)確性、______和一致性。8.多輪標(biāo)注中，______指不同輪次標(biāo)注結(jié)果的穩(wěn)定程度。9.標(biāo)注完整性要求覆蓋所有信息點(diǎn)，無(wú)______。10.質(zhì)控報(bào)告中，______是對(duì)不合格標(biāo)注的原因分類統(tǒng)計(jì)。二、單項(xiàng)選擇題（每題2分，共20分）1.不屬于文本標(biāo)注質(zhì)控核心指標(biāo)的是？A.準(zhǔn)確率B.有效率C.點(diǎn)擊率D.一致性2.標(biāo)注者間一致性（IAA）常用計(jì)算方法是？A.Cohen'sKappaB.卡方檢驗(yàn)C.T檢驗(yàn)D.方差分析3.下列開(kāi)源免費(fèi)標(biāo)注工具是？A.LabelStudioB.ProdigyC.SageMakerGroundTruthD.Labelbox4.文本標(biāo)注質(zhì)控第一步通常是？A.樣本抽檢B.規(guī)則培訓(xùn)C.結(jié)果審核D.錯(cuò)誤修正5.屬于標(biāo)注者主觀誤差的是？A.數(shù)據(jù)缺失B.規(guī)則理解偏差C.工具bugD.數(shù)據(jù)重復(fù)6.情感分析標(biāo)注（正面/負(fù)面/中性）屬于？A.分類標(biāo)注B.實(shí)體標(biāo)注C.關(guān)系標(biāo)注D.序列標(biāo)注7.標(biāo)注者錯(cuò)誤率超過(guò)多少需暫停標(biāo)注？A.5%B.10%C.15%D.20%8.標(biāo)注完整性檢查不包括？A.實(shí)體是否全標(biāo)注B.關(guān)系是否完整C.標(biāo)注時(shí)間是否合規(guī)D.標(biāo)簽覆蓋類別9.標(biāo)注數(shù)據(jù)有效性要求是？A.標(biāo)注無(wú)矛盾B.樣本數(shù)量足夠C.工具正常D.標(biāo)注者資質(zhì)達(dá)標(biāo)10.質(zhì)控報(bào)告不包含？A.錯(cuò)誤類型統(tǒng)計(jì)B.改進(jìn)建議C.標(biāo)注者績(jī)效D.工具版本三、多項(xiàng)選擇題（每題2分，共20分）1.文本標(biāo)注質(zhì)控目標(biāo)包括？A.準(zhǔn)確性B.效率C.一致性D.降成本2.標(biāo)注誤差來(lái)源有？A.規(guī)則不清晰B.標(biāo)注者專業(yè)不足C.數(shù)據(jù)模糊D.工具復(fù)雜3.IAA應(yīng)用場(chǎng)景包括？A.評(píng)估規(guī)則合理性B.篩選合格標(biāo)注者C.驗(yàn)證結(jié)果可靠性D.計(jì)算準(zhǔn)確率4.常見(jiàn)文本標(biāo)注類型有？A.NERB.關(guān)系抽取C.文本分類D.語(yǔ)義角色標(biāo)注5.質(zhì)控抽檢方法有？A.隨機(jī)抽樣B.分層抽樣C.重點(diǎn)抽樣D.全量審核6.標(biāo)注審核要點(diǎn)包括？A.標(biāo)簽準(zhǔn)確B.完整性C.一致性D.標(biāo)注時(shí)間7.標(biāo)注工具核心功能有？A.實(shí)體標(biāo)注B.關(guān)系標(biāo)注C.多人協(xié)作D.質(zhì)控統(tǒng)計(jì)8.質(zhì)控報(bào)告應(yīng)包含？A.抽檢量B.錯(cuò)誤率C.錯(cuò)誤歸因D.改進(jìn)建議9.標(biāo)注者培訓(xùn)關(guān)鍵內(nèi)容有？A.規(guī)則解讀B.工具操作C.錯(cuò)誤案例D.考核測(cè)試10.無(wú)效標(biāo)注樣本包括？A.規(guī)則不符B.重復(fù)標(biāo)注C.空標(biāo)注D.標(biāo)注超時(shí)四、判斷題（每題2分，共20分）1.準(zhǔn)確率=正確標(biāo)注數(shù)/總標(biāo)注數(shù)。（）2.IAA越高，標(biāo)注結(jié)果越可靠。（）3.開(kāi)源工具比商業(yè)工具適合所有場(chǎng)景。（）4.質(zhì)控只需檢查標(biāo)注結(jié)果，無(wú)需核對(duì)原始數(shù)據(jù)。（）5.文本分類標(biāo)注只能標(biāo)一個(gè)類別。（）6.規(guī)則越詳細(xì)，標(biāo)注偏差越小。（）7.錯(cuò)誤率=不合格數(shù)/抽檢數(shù)。（）8.關(guān)系抽取只需標(biāo)實(shí)體，無(wú)需標(biāo)關(guān)系類型。（×）9.質(zhì)控報(bào)告只需記錄錯(cuò)誤，無(wú)需提建議。（×）10.標(biāo)注者資質(zhì)高，質(zhì)量一定好。（×）五、簡(jiǎn)答題（每題5分，共20分）1.簡(jiǎn)述文本標(biāo)注質(zhì)控基本流程。2.如何計(jì)算標(biāo)注者間一致性（IAA）？3.標(biāo)注數(shù)據(jù)有效性判斷標(biāo)準(zhǔn)有哪些？4.標(biāo)注規(guī)則設(shè)計(jì)注意事項(xiàng)是什么？六、討論題（每題5分，共10分）1.若標(biāo)注批次錯(cuò)誤率達(dá)15%（預(yù)期5%），作為質(zhì)控技師如何處理？2.如何平衡文本標(biāo)注的效率與質(zhì)量？---答案部分一、填空題1.準(zhǔn)確率2.有效率3.關(guān)系抽?。ɑ蛭谋痉诸悾?.隨機(jī)5.LabelStudio6.數(shù)據(jù)本身誤差（或工具誤差）7.完整性8.一致性（或穩(wěn)定性）9.遺漏10.錯(cuò)誤歸因二、單項(xiàng)選擇題1.C2.A3.A4.B5.B6.A7.B8.C9.A10.D三、多項(xiàng)選擇題1.ABC2.ABCD3.ABC4.ABCD5.ABC6.ABC7.ABCD8.ABCD9.ABCD10.ABC四、判斷題1.√2.√3.×4.×5.×6.√7.√8.×9.×10.×五、簡(jiǎn)答題1.流程：①規(guī)則培訓(xùn)→考核合格上崗；②標(biāo)注者完成標(biāo)注提交；③隨機(jī)/分層抽檢，核對(duì)準(zhǔn)確性、完整性、一致性；④標(biāo)記不合格樣本，退回修正；⑤統(tǒng)計(jì)錯(cuò)誤率、歸因，輸出報(bào)告并提改進(jìn)建議。2.常用Cohen'sKappa（雙標(biāo)注者）：①統(tǒng)計(jì)混淆矩陣；②計(jì)算觀察一致性P0（一致樣本占比）；③計(jì)算chance一致性Pe（標(biāo)簽頻率平方和）；④Kappa=(P0-Pe)/(1-Pe)，≥0.6可接受，≥0.8優(yōu)秀。3.標(biāo)準(zhǔn)：①準(zhǔn)確性（標(biāo)簽與真實(shí)一致）；②完整性（無(wú)信息遺漏）；③一致性（同一/不同標(biāo)注者結(jié)果無(wú)矛盾）；④有效性（非重復(fù)、非空、符合任務(wù)要求）。4.注意：①清晰（具體示例）；②完整（覆蓋所有場(chǎng)景）；③一致（邏輯統(tǒng)一）；④可操作（減少主觀判斷）；⑤可驗(yàn)證（通過(guò)抽檢/IAA驗(yàn)證），設(shè)計(jì)后需測(cè)試優(yōu)化。六、討論題1.處理：①暫停批次標(biāo)注；②抽取錯(cuò)誤樣本分類（規(guī)則/標(biāo)注者/數(shù)據(jù)問(wèn)題）；③若規(guī)則模糊，優(yōu)化后重新培訓(xùn)；④錯(cuò)誤率過(guò)高的標(biāo)注者單獨(dú)培訓(xùn)考核；⑤篩選模糊數(shù)據(jù)補(bǔ)充示例；⑥修正