向量檢索技術(shù)淺析StarRocks實(shí)現(xiàn)向量檢索的原理及優(yōu)化StarRocks向量檢索在騰訊的實(shí)踐案例挑戰(zhàn)及未來(lái)規(guī)劃什么是向量--近似最近,用于ANNS的哈希方法主要是局部敏技術(shù)（InvertedFile，IVF），求取TopK個(gè)聚近鄰圖（主流）：近“近鄰的

能力支撐：文本檢索向量檢索多新整體架構(gòu)？向量檢索的近似TopN，意味著其它索引與Filter條件與向量？索引自帶導(dǎo)出字段Distance，Scan層沒(méi)有相關(guān)的字段，距離如何范索引查詢實(shí)現(xiàn)—具體索引的 Selectid,l2_distance(query_vector,vector_column)asscorefromtableorderbyscorelimit%后前混合索引寫(xiě)入原理與

聚聚

索引粒度可以索引向量到segmentrowid的映射，通過(guò)rowid召

索引寫(xiě)入

增量自適

空索引or

索引重建

Compaction/writeRangeSQL:selectid,l2_distance(query_vector,vector_column)asscorefromtablewherescore<orderbyscorelimitHNSWRange1NNSearch+r->Range

IVF-PQRangeb–c=L< BlockANN-HNSW(Faiss)vs單機(jī)（76core/128G)，30w–100w數(shù)據(jù)集，在50并<20ms，qps召回率測(cè)試：在A業(yè)務(wù)、B業(yè)務(wù)、100w隨機(jī)測(cè)試集上，通過(guò)動(dòng)態(tài)調(diào)整tenannsearch參數(shù)召回率可以全部對(duì)齊，性能數(shù)據(jù)均無(wú)明顯影響，符合預(yù)期。寫(xiě)入穩(wěn)定性測(cè)試：100w，1000w，1億，10億標(biāo)準(zhǔn)數(shù)據(jù)集，寫(xiě)入均符合預(yù)期。對(duì)比ES，使用內(nèi)部專業(yè)測(cè)試集，耗時(shí)(StarRocks)4.42msvs(ES)7.97ms精確檢索經(jīng)過(guò)內(nèi)存分配優(yōu)化、SIMD指令62%~迭代式后4~48.26倍；召回率較后過(guò)濾平均提升16%~20%在同參數(shù)配置，混合索引33%。召回率波動(dòng)：42%->7%，k_factor大小比例1SR向量索引核心RAG+案例案例10億IVFPQ512約xw/Serving/Scatter-Gathervs大數(shù)據(jù)量K大數(shù)據(jù)