Xinference：大模型時(shí)代的分布式推理平臺(tái)秦續(xù)業(yè)未來速度CEOLLM

推理概述AttentionisAllYou

NeedGPT

架構(gòu)EmbeddingDecoderSampling簡化成三個(gè)步驟LLM

推理概述EmbeddingDecoderSamplingToken

Embedding將

token

id

轉(zhuǎn)成詞向量PositionalEmbedding將位置信息加到編碼中LLM

推理概述EmbeddingDecoderSampling計(jì)算量最大的一個(gè)步驟，主要是

attentionLLM

推理概述EmbeddingDecoderSamplingLLM

推理概述EmbeddingDecoderSamplingGreedy

searchBeam

search…Top-KTop-PLLM

優(yōu)化技術(shù)Optimizations:KVCacheLLM

優(yōu)化技術(shù)Optimizations:PagedAttentionLLM

優(yōu)化技術(shù)Optimizations:Continuous

BatchingLLM

優(yōu)化技術(shù)Optimizations:Speculative

DecodingLLM

推理后端高吞吐最好兼容性工作在端側(cè)LLM

模型下載LLM

推理LLM

推理生產(chǎn)部署

個(gè)人部署

PromptTemplatesModelCachingUtilsModel

ManagementRESTful

APIResourceManagementThird-partyIntegrationMonitoringXinferenceisallyour

need多模型：匯集約80種開源模型，如GLM4、百川、Llama3、qwen2，還可以自由擴(kuò)展自定義模型多硬件：支持

NVIDIA、Intel

多種硬件平臺(tái)，按需選擇高性能：使用多

backend

和投機(jī)采樣等優(yōu)化技術(shù)，大幅提升吞吐量，降低推理延遲低門檻：模型即服務(wù)，支持本地/云端部署等多種部署模式，降低開發(fā)和運(yùn)維成本；支持從modelscope、huggingface

或

OpenCSG

下載模型Xinferenceisallyour

needXinferenceisallyour

needDify中唯一一個(gè)支持所有特性的模型供應(yīng)商模型√√√√√DashboardPython

ClientRESTful

APIResponseOpenAI

SDK第三方集成（langchain、llama_index、Dify、FastGPT、chatchat…）模型和資源管理XinferenceserverApplicationsAPIrequestWebUIrequestrequestGPUGPUGPUCPUllamaResource

Poolllamachatglmgte-largechatglmvllmtensorRT-llmScalabilityScaleUp單機(jī)多卡（1張3090

與2張3090的數(shù)據(jù)對(duì)比），線性增長，throughput

隨著卡的增加而線性增長,

latency

隨著卡的增加線性降低ScalabilityScaleOut多機(jī)多卡（一臺(tái)

A10G

顯卡機(jī)器與兩臺(tái)A10G

顯卡機(jī)器），throughput

隨著機(jī)器的增加而線性增長,

latency

隨著機(jī)器的增加線性降低。Xinference企業(yè)版案例1，NVIDIA

和昇騰混合部署某券商Xinference

提供了異構(gòu)調(diào)度能力，將各種類型硬件納管Xinference屏蔽了底層硬件的差異用戶無需感知硬件不同，GPUvs.NPU透明的優(yōu)化技術(shù)，對(duì)

NVIDIA

和昇騰使用不同的優(yōu)化技術(shù)各種常見AI開發(fā)工具直接對(duì)接LangchainDify難點(diǎn)和優(yōu)勢(shì)NVIDIA

擁有了相對(duì)完備的生態(tài)，國產(chǎn)適配有相當(dāng)大的難度Xinference對(duì)底層算子進(jìn)行了適配，利用continuous

batching，整體吞吐提升3倍。得益于Xinference

底層的Xoscar

異構(gòu)算力調(diào)度，用戶對(duì)

NVIDIA還是國產(chǎn)芯片是透明的用戶可以更加專注在業(yè)務(wù)側(cè)案例