1、.,1,Elasticsearch 介紹與應(yīng)用,.,2,mysql檢索的瓶頸,背景：平臺attention檢索，數(shù)量80萬左右 數(shù)據(jù)庫 like %tag% 查詢：接口耗時1s左右 全表掃描，性能極差 前端體驗差,.,3,Elasticsearch 解決方案,將attention批量導入到ES中存儲 使用ES檢索，接口耗時降到50ms以內(nèi),.,4,應(yīng)用：feed庫文章標題檢索,(title LIKE %wd% AND vertical_type IN (0,1) AND img_num0 ) OR (title LIKE %wd% AND vertical_type IN (14),.,5,E

2、lasticsearch介紹,分布式、可擴展、實時的搜索與數(shù)據(jù)分析引擎 Apache Lucene 基礎(chǔ)之上 簡單一致的RESTful API 開源，免費下載，使用，修改,.,6,安裝,一、安裝要求 jdk至少需要在1.8.0以上版本 linux的內(nèi)核版本需要在2.6以上 二、安裝 下載 wget 解壓 tar 啟動 ./bin/elasticsearch d 測試 curl http:/localhost:9200/?pretty,.,7,一些概念,索引(index)：類似于關(guān)系數(shù)據(jù)庫中的一個數(shù)據(jù)庫，一個索引就是一個擁有幾分相似特征的文檔的集合 類型(type)：一個索引中，可以定義一種或多

3、種類型，類似于表 文檔(document)：一個文檔是一個可被索引的基礎(chǔ)信息單元，以JSON格式來表示 分片(shards )：可以將一個索引劃分成多份，這些份就叫做分片，可以水平分割/擴展內(nèi)容容量，進行分布式的、并行的操作，進而提高性能/吞吐量 復制(replicas)：創(chuàng)建分片的一份或多份拷貝，這些拷貝叫做復制分片,.,8,與Elasticsearch交互,curl -X :/:/? -d 集群狀態(tài)curl -XGET localhost:8200/_cluster/health?pretty 計算集群中文檔的數(shù)量 curl -XGET localhost:8200/_count?pret

4、ty,.,9,插入一條數(shù)據(jù),.,10,簡單的GET,curl -XGET localhost:8200/megacorp/employee/1?pretty,.,11,簡單的搜索,curl -XGET localhost:8200/megacorp/employee/_search?pretty curl -XGET localhost:8200/megacorp/employee/_search?q=last_name:Smith&pretty,.,12,復雜點的搜索,搜索姓氏為 Smith 的雇員，并且年齡大于 30,.,13,全文檢索,.,14,多索引，多類型搜索,/_search：在所

5、有的索引中搜索所有的類型 /tag/_search：在 tag 索引中搜索所有的類型 / tag,cat/_search：在 tag 和cat索引中搜索所有的文檔 /t*,c*/_search：在任何以g或者u開頭的索引中搜索所有的類型 / tag /user/_search：在tag索引中搜索user類型 /tag,us/user,op/_search：在tag和us索引中搜索user和op類型 /_all/user,tweet/_search：在所有的索引中搜索user和tweet類型,.,15,分頁,size顯示應(yīng)該返回的結(jié)果數(shù)量，默認是10 from顯示應(yīng)該跳過的初始結(jié)果數(shù)量，默認是0

6、 每頁展示 5 條，可以用下面方式請求得到 1 到 3 頁的結(jié)果： GET /_search?size=5 GET /_search?size=5&from=5 GET /_search?size=5&from=10,.,16,查詢條件組合,must：文檔必須匹配這些條件才能被包含進來。 must_not：文檔必須不 匹配這些條件才能被包含進來。 should：如果滿足這些語句中的任意語句，將增加_score，否則，無任何影響。 filter:必須匹配，但它以不評分、過濾模式來進行。這些語句對評分沒有貢獻，只是根據(jù)過濾標準來排除或包含文檔。,.,17, bool: must: match: title: how to make millions , must_not: match: tag: spam , should: match: tag: starred , range: date: gte: 2014-01-01 ,.,18, bool: must: match: title: how to make millions , mus