1、淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu),張軒丞（朋春） 淘寶網(wǎng)-數(shù)據(jù)平臺(tái)與產(chǎn)品部,關(guān)于,張軒丞（朋春） 淘寶數(shù)據(jù)平臺(tái)與產(chǎn)品部（杭州） vi黨，腳本語(yǔ)言愛(ài)好者 關(guān)注NodeJS，cnode社區(qū)組織者之一 ：我是aleafs,數(shù)據(jù)平臺(tái)與產(chǎn)品,淘寶網(wǎng) 淘寶賣家 供應(yīng)商 消費(fèi)者,搜索、瀏覽、收藏、交易、評(píng)價(jià).,一些數(shù)字,淘寶主站： 30億店鋪、寶貝瀏覽 10億計(jì)的在線寶貝數(shù) 千萬(wàn)量級(jí)交易筆數(shù),數(shù)據(jù)產(chǎn)品： 50G統(tǒng)計(jì)匯總結(jié)果 千萬(wàn)量級(jí)數(shù)據(jù)查詢請(qǐng)求 平均20.8ms的響應(yīng)時(shí)間（6月1日）,海量數(shù)據(jù)帶來(lái)的挑戰(zhàn),計(jì)算 計(jì)算的速度 處理吞吐量 存儲(chǔ) 存儲(chǔ)是為了更方便地查詢 硬盤、內(nèi)存的成本 查詢 “大海撈針” 全“表”掃描,

2、架構(gòu)總覽,今天的話題,關(guān)系型數(shù)據(jù)庫(kù)仍然是王道 NoSQL是SQL的有益補(bǔ)充 用中間層隔離前后端 緩存是系統(tǒng)化的工程,關(guān)系型數(shù)據(jù)庫(kù)仍然是王道,關(guān)系型數(shù)據(jù)庫(kù),有成熟穩(wěn)定的開(kāi)源產(chǎn)品 SQL有較強(qiáng)的表達(dá)能力 只存儲(chǔ)中間狀態(tài)的數(shù)據(jù) 查詢時(shí)過(guò)濾、計(jì)算、排序 數(shù)據(jù)產(chǎn)品的本質(zhì) 拉關(guān)系 做計(jì)算,SELECT IF(INSTR(f.keyword, ) 0, UPPER(TRIM(f.keyword), CONCAT(b.brand_name, ,UPPER(TRIM(f.keyword) AS f0, SUM(f.search_num) AS f1, ROUND(SUM(f.search_num) / SUM(

3、f.uv), 2) AS f3, ROUND(AVG(f.uv),2) AS f4 FROM dm_fact_keyword_brand_d f INNER JOIN dim_brand b ON f.keyword_brand_id = b.brand_id WHERE f.keyword_type_id = 1 AND f.keyword != AND keyword_cat_id IN (50002535) AND thedate = 2011-07-07 GROUP BY f0 ORDER BY SUM(f.search_num) DESC LIMIT 0, 100,存儲(chǔ)在DB中的數(shù)據(jù)

4、,分布式MySQL集群,字段+條目數(shù)分片 MyISAM引擎 離線批量裝載 跨機(jī)房互備,MyFOX,透明的集群中間層MyFOX,透明查詢 基于NodeJS，1200QPS 數(shù)據(jù)裝載 路由計(jì)算 數(shù)據(jù)裝入 一致性校驗(yàn) 集群管理 配置信息維護(hù) 監(jiān)控報(bào)警,MyFOX-數(shù)據(jù)查詢,MyFOX-節(jié)點(diǎn)結(jié)構(gòu),MyFOX,熱節(jié)點(diǎn)（MySQL）,15k SAS盤，300G * 12，raid10 內(nèi)存:24G 成本:4.5W / T,新增熱數(shù)據(jù),小結(jié),根據(jù)業(yè)務(wù)特點(diǎn)分庫(kù)分表 冷熱數(shù)據(jù)分離 降低成本，好鋼用在刀刃上 更有效地使用內(nèi)存,SQL雖牛，但是,NoSQL是SQL的有益補(bǔ)充,全屬性交叉運(yùn)算,不同類目的商品有不同的屬

5、性 同一商品的屬性對(duì)有很多 用戶查詢所選擇的屬性對(duì)不確定,Prometheus 定制化的存儲(chǔ) 實(shí)時(shí)計(jì)算,Prom數(shù)據(jù)裝載,Prom,Prom數(shù)據(jù)查詢,Prom數(shù)據(jù)冗余,明細(xì)數(shù)據(jù)大量冗余 犧牲磁盤容量，以得到： 避免明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸 變大量隨機(jī)讀為順序讀,小結(jié),NoSQL是SQL的有益補(bǔ)充 “預(yù)算”與“現(xiàn)算”的權(quán)衡 “本地”與“集中”的協(xié)同,其他的數(shù)據(jù)來(lái)源,Prom的其他應(yīng)用（淘詞、指數(shù)等） 從isearch獲取實(shí)時(shí)的店鋪、商品描述 從主站搜索獲取實(shí)時(shí)的商品數(shù) ,異構(gòu)數(shù)據(jù)源如何整合統(tǒng)一？,用中間層隔離前后端,pengchun$ tail /logs/glider-rt2.log 127.0.0.

6、1 14/Jun/2011:14:54:29 +0800 GET /glider/db/brand/brandinfo_d/get_hot_brand_top/where HTTP/1.1 200 17 0.065,數(shù)據(jù)中間層Glider,多數(shù)據(jù)源整合 UNION JOIN 輸出格式化 PERCENT / RANK OVER JSON輸出,Glider架構(gòu),Dispatcher,Controller,配置解析,請(qǐng)求解析,一級(jí)緩存 action,緩存是系統(tǒng)化的工程,緩存系統(tǒng),前端產(chǎn)品,一級(jí)緩存,小結(jié),用中間層隔離前后端 底層架構(gòu)對(duì)前端透明 水平可擴(kuò)展性 緩存是把雙刃劍 降低后端存儲(chǔ)壓力 數(shù)據(jù)一致性問(wèn)題 緩存穿透與失效,回顧,關(guān)系型數(shù)據(jù)